Samsung hat ein Zeichen gesetzt: Die heutigen Chatbots sind zu langsam für echte KI-Agenten.
Auf dem AI Infrastructure Summit legte ihr US-Speicherteam ein Ziel von 1.000 Tokens pro Sekunde pro Nutzer fest. Aktuelle Systeme liegen bei etwa 100. Das ist ein 10-facher Sprung.
Ihre Antwort? Stack-Speicher direkt auf den Chip.
Sie nennen es zHBM. Statt HBM neben den Beschleuniger zu platzieren, setzen Sie es direkt oben drauf. Stellen Sie es sich vor wie ein Hotelzimmer mit eigenem Aufzug bis zur Lobby – kürzerer Weg, weniger Wartezeit.
Im Vergleich zu HBM5 behauptet Samsung bis zu 8x bessere Leistung und über 3x höhere Energieeffizienz. Das naheliegende Risiko ist, dass die Wärme vom Chip in den Speicher abblutet. Sie sagen, das werde gelöst, indem man den Stack ab Tag eins gemeinsam mit den Kund:innen der Beschleuniger entwickelt (Co-Design).
Außerdem haben sie zNAND-O vorgestellt, ein 3D-NAND-Konzept für KI direkt auf dem Gerät. Bis 2030 erwarten sie Trillion-Parameter-Modelle, die auf Workstations laufen – nicht nur in riesigen Rechenzentrums-Hallen. Allein DRAM wäre dafür zu teuer. zNAND-O könnte die gleiche Aufgabe zu ungefähr einem Sechstel der Kosten erledigen. Muster sind für 2028 vorgesehen.
Das ist ein Roadmap- Vortrag, kein Auslieferungsdatum.
Doch die Frage bleibt: Wenn Agenten wirklich 1.000 Tokens pro Sekunde brauchen, schlägt dann das Stacking das einfache Hinzufügen von mehr HBM neben dem Chip?
Die Speicherarchitektur wird zunehmend zum Flaschenhals. Wer sie zuerst löst, gewinnt die nächste Phase der KI-Infrastruktur.
Auf dem AI Infrastructure Summit legte ihr US-Speicherteam ein Ziel von 1.000 Tokens pro Sekunde pro Nutzer fest. Aktuelle Systeme liegen bei etwa 100. Das ist ein 10-facher Sprung.
Ihre Antwort? Stack-Speicher direkt auf den Chip.
Sie nennen es zHBM. Statt HBM neben den Beschleuniger zu platzieren, setzen Sie es direkt oben drauf. Stellen Sie es sich vor wie ein Hotelzimmer mit eigenem Aufzug bis zur Lobby – kürzerer Weg, weniger Wartezeit.
Im Vergleich zu HBM5 behauptet Samsung bis zu 8x bessere Leistung und über 3x höhere Energieeffizienz. Das naheliegende Risiko ist, dass die Wärme vom Chip in den Speicher abblutet. Sie sagen, das werde gelöst, indem man den Stack ab Tag eins gemeinsam mit den Kund:innen der Beschleuniger entwickelt (Co-Design).
Außerdem haben sie zNAND-O vorgestellt, ein 3D-NAND-Konzept für KI direkt auf dem Gerät. Bis 2030 erwarten sie Trillion-Parameter-Modelle, die auf Workstations laufen – nicht nur in riesigen Rechenzentrums-Hallen. Allein DRAM wäre dafür zu teuer. zNAND-O könnte die gleiche Aufgabe zu ungefähr einem Sechstel der Kosten erledigen. Muster sind für 2028 vorgesehen.
Das ist ein Roadmap- Vortrag, kein Auslieferungsdatum.
Doch die Frage bleibt: Wenn Agenten wirklich 1.000 Tokens pro Sekunde brauchen, schlägt dann das Stacking das einfache Hinzufügen von mehr HBM neben dem Chip?
Die Speicherarchitektur wird zunehmend zum Flaschenhals. Wer sie zuerst löst, gewinnt die nächste Phase der KI-Infrastruktur.