SK Hynix hat gerade den echten KI-Engpass offengelegt – und es ist nicht mehr die Rechenleistung.
Auf dem Dell Forum sagte der VP für Systemarchitektur, dass heute die Speicherbandbreite die gesamte KI-Performance stärker bestimmt als die rohe GPU-Leistung. LLMs bewegen bereits enorme Datenmengen. Agentic-Workloads und längere Kontextfenster erhöhen den Token-Durchsatz von Dutzenden pro Sekunde hin zu hunderten oder tausenden.
HBM hat sich schnell von Gen 1 bis HBM4 skaliert, aber SK sagt, dass das für die nächsten Generationen agentischer Systeme nicht mehr ausreicht. Speicher direkt auf der GPU zu stapeln könnte deutlich höhere Bandbreite freisetzen, aber thermische Grenzen machen diesen Weg schwierig. Der andere Druckpunkt ist die Energie: Der Großteil der Leistung fließt ins Bewegen von Daten, nicht ins Rechnen. Darum schreitet die Forschung zu Processing-in-Memory weiter.
Memory Pooling über CXL wird bereits eingesetzt, um die Leerlaufzeit der GPUs zu senken und die Kosteneffizienz zu verbessern. Effizienzgewinne an anderer Stelle – einschließlich algorithmischer Verbesserungen – folgten dem Jevons-Paradox: Statt den Speicherbedarf zu reduzieren, haben sie die Gesamtnachfrage nach Speicher erhöht.
Das Muster ist klar. Die Rechenleistung schreitet voran. Das System wird zunehmend durch die Frage begrenzt, wie schnell und wie effizient man Daten bereitstellen kann. Diese Einschränkung prägt den nächsten Schub der Ausgaben für KI-Infrastruktur.
Auf dem Dell Forum sagte der VP für Systemarchitektur, dass heute die Speicherbandbreite die gesamte KI-Performance stärker bestimmt als die rohe GPU-Leistung. LLMs bewegen bereits enorme Datenmengen. Agentic-Workloads und längere Kontextfenster erhöhen den Token-Durchsatz von Dutzenden pro Sekunde hin zu hunderten oder tausenden.
HBM hat sich schnell von Gen 1 bis HBM4 skaliert, aber SK sagt, dass das für die nächsten Generationen agentischer Systeme nicht mehr ausreicht. Speicher direkt auf der GPU zu stapeln könnte deutlich höhere Bandbreite freisetzen, aber thermische Grenzen machen diesen Weg schwierig. Der andere Druckpunkt ist die Energie: Der Großteil der Leistung fließt ins Bewegen von Daten, nicht ins Rechnen. Darum schreitet die Forschung zu Processing-in-Memory weiter.
Memory Pooling über CXL wird bereits eingesetzt, um die Leerlaufzeit der GPUs zu senken und die Kosteneffizienz zu verbessern. Effizienzgewinne an anderer Stelle – einschließlich algorithmischer Verbesserungen – folgten dem Jevons-Paradox: Statt den Speicherbedarf zu reduzieren, haben sie die Gesamtnachfrage nach Speicher erhöht.
Das Muster ist klar. Die Rechenleistung schreitet voran. Das System wird zunehmend durch die Frage begrenzt, wie schnell und wie effizient man Daten bereitstellen kann. Diese Einschränkung prägt den nächsten Schub der Ausgaben für KI-Infrastruktur.