NVIDIA предложила комплексный подход к проектированию памяти для ИИ на фоне роста спроса на память GPU, связанного с увеличением размеров моделей, расширением окон контекста и более широким применением ИИ-агентов. Как сообщает Odaily, этот подход координирует работу GPU, CPU, сетей, хранилищ и программного обеспечения, чтобы повысить эффективность использования памяти, а не просто увеличивать её объём в GPU.

В рамках предложения используется формат низкой точности NVFP4 для сжатия весов модели и KV-кэша, временно неактивный контекст перемещается в более дешёвое хранилище, а развёртывание нескольких GPU позволяет освободить память HBM.

NVIDIA сообщила, что в тестах SemiAnalysis AgentX платформа GB300 NVL72 обеспечила в некоторых рабочих нагрузках до 10 раз большую пропускную способность инференса на единицу стоимости, чем платформа H200. Vera Rubin NVL72 обеспечила до 30 раз большую пропускную способность на единицу стоимости, чем GB300 NVL72, при этом ёмкость HBM на один GPU увеличилась примерно на 3%.