Das von NVIDIA übernommene KI-Chip-Startup Groq plant Berichten zufolge, das Speicherkonzept seiner Chips neu zu gestalten. Wie das koreanische Medium ZDNet am 20. Oktober berichtete, prüft Groq, in Chips der nächsten Generation 3D-Packaging-Technologie einzusetzen und DRAM anstelle des bisher zentralen SRAM zu verwenden. Ziel ist es, die Speicherkapazität pro Chip deutlich zu erhöhen.

Groq richtet das Design seiner Chips der nächsten Generation neu aus! DRAM soll SRAM ersetzen

ZDNet beruft sich auf Aussagen von zwei anonymen Branchenvertretern aus der Halbleiterindustrie und berichtet, dass Groq prüft, 3D-Packaging-Technologie bei Chips der nächsten Generation einzusetzen. Dabei soll DRAM den SRAM im bisherigen Design ersetzen. Ein Branchenvertreter erklärte, Groq plane, 3D-Packaging mit gestapeltem DRAM in die neuen Chips zu integrieren, statt weiterhin SRAM zu verwenden.

3D-Packaging bedeutet, mehrere Halbleiterchips (Dies) vertikal zu stapeln, sodass sie wie ein einzelner Chip funktionieren. Berichten zufolge kann diese Methode im Vergleich zum herkömmlichen planaren 2D-Design die Fläche verkleinern und möglicherweise die Energieeffizienz verbessern.

Groq wurde 2016 von Jonathan Ross gegründet, einem der Entwickler der Google-TPUs. Das Unternehmen wurde im vergangenen Jahr von Nvidia übernommen. Frühere Berichte, wonach das Produkt „Groq 3 LPX“ bereits in die Massenproduktion gegangen sei, deuten darauf hin, dass die Produktlinie von Groq innerhalb des Nvidia-Konzerns weiterentwickelt wird.

Was ist 3DS? Der Unterschied zu HBM liegt in der Kapazität

Berichten zufolge setzt Groq auf 3DS (3D Stacked Memory), bei dem DRAM-Chips mithilfe von Through-Silicon Vias (TSVs) vertikal miteinander verbunden werden, um ein Speicherpaket mit hoher Kapazität zu bilden. Auch High Bandwidth Memory (HBM) nutzt TSVs, verfolgt jedoch ein anderes Designziel. HBM legt den Schwerpunkt auf die Datenübertragungsrate, während 3DS die bestehende DRAM-Schnittstelle beibehält und auf eine höhere Kapazität abzielt.

Groq ist nicht das einzige Unternehmen, das die Speicherstapeltechnologie vorantreibt. Wie ChainNews zuvor berichtete, hat SK Hynix mit der Kommerzialisierung von 3D-Stacked-DRAM-on-Logic begonnen. Bei dieser Technologie wird DRAM direkt auf einem Logikchip gestapelt. Durch kürzere physische Wege und zusätzliche Datenübertragungskanäle sollen die Einschränkungen herkömmlicher PoP-Gehäuse bei Bandbreite und Stromverbrauch überwunden werden. Im Fokus stehen vor allem KI-Anwendungen auf Mobilgeräten.

Der Unterschied liegt in der Architektur: Über Groq 3DS ist derzeit lediglich bekannt, dass DRAM zur Kapazitätserweiterung gestapelt wird. Ob der DRAM dabei auf dem Rechenchip gestapelt ist, wurde nicht erläutert.

Warum DRAM? Ein Kapazitätskompromiss für KI-Inferenz

ZDNet zufolge basierte Groqs bisheriges Design auf SRAM, das schnell, aber nur in begrenzter Kapazität verfügbar ist. DRAM ist vergleichsweise langsamer, eignet sich jedoch besser für große Speicherkapazitäten. Der Bericht deutet den Schritt von Groq als Versuch, die Kapazitätsgrenzen des bisherigen Designs zu überwinden. Ein weiterer Brancheninsider erklärt, dass sich der Gesamtmarkt in Richtung größerer Chips entwickelt und Groq deshalb DRAM gewählt habe, das bei der Kapazität Vorteile bietet.

Aus der Perspektive der KI-Inferenz ist dieser Kompromiss durchaus sinnvoll. Die Zahl der Parameter und die Kontextlänge von LLMs nehmen stetig zu, wodurch auch der benötigte Speicherbedarf wächst. Allein auf SRAM zu setzen, kann daher schnell zu Einschränkungen führen.

SRAM punktet jedoch mit hoher Geschwindigkeit und geringer Latenz. Ob diese Eigenschaften auch nach dem Wechsel zu DRAM erhalten bleiben, ist derzeit noch unklar. Erst wenn Groq oder Nvidia weitere Angaben machen, lässt sich beurteilen, ob dieser Designwechsel tatsächlich stattfindet und welche praktischen Auswirkungen er hat.

• Dieser Artikel wurde mit Genehmigung übernommen von: (ChainNews)

• Originaltitel: (Nvidia setzt auf Speicherchips der nächsten Generation! Groq soll 3D-gestapeltes DRAM einführen, um den Bedarf an KI-Inferenz zu decken)

• Originalautor: Crumax

Der Artikel „Nvidia reagiert auf den Bedarf an KI-Inferenz! Groq soll 3D-gestapeltes DRAM einführen und Speicherchips der nächsten Generation entwickeln“ wurde erstmals auf „Crypto City“ veröffentlicht