NVIDIA a proposé une approche coordonnée de la conception de la mémoire pour l’IA, alors que la demande de mémoire GPU augmente avec la taille des modèles, l’allongement des fenêtres de contexte et la généralisation des agents d’IA. Selon Odaily, cette approche coordonne les GPU, les CPU, les réseaux, le stockage et les logiciels afin d’améliorer l’efficacité de la mémoire, plutôt que de simplement accroître la capacité de mémoire des GPU.

La proposition utilise le format basse précision NVFP4 pour compresser les poids des modèles et le cache KV, transfère les contextes temporairement inactifs vers un stockage moins coûteux et recourt à des déploiements multi-GPU pour libérer de la mémoire HBM.

NVIDIA a indiqué que, lors des tests AgentX de SemiAnalysis, le GB300 NVL72 offrait jusqu’à 10 fois plus de débit d’inférence par unité de coût que la plateforme H200 pour certaines charges de travail. Le Vera Rubin NVL72 offrait jusqu’à 30 fois plus de débit par unité de coût que le GB300 NVL72, tout en augmentant d’environ 3 % la capacité HBM par GPU.