NVIDIA ha propuesto un enfoque coordinado para el diseño de memoria para IA, en respuesta al aumento de la demanda de memoria de GPU provocado por modelos más grandes, ventanas de contexto más largas y un uso más extendido de los agentes de IA. Según Odaily, el enfoque coordina GPU, CPU, redes, almacenamiento y software para mejorar la eficiencia de la memoria, en lugar de limitarse a aumentar la capacidad de memoria de las GPU.

La propuesta utiliza el formato de baja precisión NVFP4 para comprimir los pesos del modelo y la caché KV, traslada el contexto temporalmente inactivo a un almacenamiento de menor costo y emplea implementaciones con varias GPU para liberar HBM.

NVIDIA informó que, en las pruebas AgentX de SemiAnalysis, el GB300 NVL72 ofreció hasta 10 veces más rendimiento de inferencia por unidad de costo que la plataforma H200 en determinadas cargas de trabajo. El Vera Rubin NVL72 ofreció hasta 30 veces más rendimiento por unidad de costo que el GB300 NVL72, al tiempo que aumentó en aproximadamente un 3 % la capacidad HBM por GPU.