A NVIDIA propôs uma abordagem coordenada para o design de memória para IA, à medida que a demanda por memória de GPU cresce junto com modelos maiores, janelas de contexto mais longas e o uso mais amplo de agentes de IA. Segundo a Odaily, a abordagem coordena GPUs, CPUs, redes, armazenamento e software para melhorar a eficiência da memória, em vez de simplesmente aumentar a capacidade de memória da GPU.

A proposta usa o formato de baixa precisão NVFP4 para comprimir os pesos dos modelos e o cache KV, transfere contextos temporariamente inativos para armazenamento de menor custo e usa implantações com várias GPUs para liberar HBM.

A NVIDIA informou que, nos testes AgentX da SemiAnalysis, o GB300 NVL72 ofereceu até 10 vezes mais throughput de inferência por unidade de custo do que a plataforma H200 em determinadas cargas de trabalho. O Vera Rubin NVL72 ofereceu até 30 vezes mais throughput por unidade de custo do que o GB300 NVL72, enquanto aumentou a capacidade de HBM por GPU em cerca de 3%.