NVIDIA hat einen koordinierten Ansatz für das Design von KI-Speicher vorgeschlagen, da der Bedarf an GPU-Speicher mit größeren Modellen, längeren Kontextfenstern und einer breiteren Nutzung von KI-Agenten steigt. Laut Odaily koordiniert der Ansatz GPUs, CPUs, Netzwerke, Speicher und Software, um die Speichereffizienz zu verbessern, statt einfach nur die GPU-Speicherkapazität zu erhöhen.

Der Vorschlag nutzt das NVFP4-Format mit geringer Genauigkeit, um Modellgewichte und den KV-Cache zu komprimieren. Vorübergehend inaktive Kontextdaten werden auf kostengünstigeren Speicher verlagert, und Mehr-GPU-Bereitstellungen schaffen zusätzlichen HBM-Speicher.

NVIDIA berichtete, dass der GB300 NVL72 in Tests von SemiAnalysis AgentX bei bestimmten Workloads einen bis zu zehnmal höheren Inferenzdurchsatz pro Kosteneinheit als die H200-Plattform erreichte. Der Vera Rubin NVL72 erzielte einen bis zu 30-mal höheren Durchsatz pro Kosteneinheit als der GB300 NVL72 und erhöhte gleichzeitig die HBM-Kapazität pro GPU um etwa 3 %.