Dans un message de ME AI, Nvidia indique que la pression sur la mémoire des GPU continue de s’accentuer à mesure que les modèles d’IA gagnent en taille, que les fenêtres de contexte s’allongent et que les applications d’agents se généralisent. L’offre de HBM se resserre et les prix augmentent. Nvidia propose d’améliorer l’efficacité d’utilisation de la mémoire grâce à une conception conjointe des GPU, des CPU, des réseaux, du stockage et des logiciels, plutôt que de simplement augmenter la capacité mémoire des GPU. Concrètement, Nvidia compresse les poids des modèles et le KV Cache au moyen du format basse précision NVFP4, transfère les contextes temporairement inactifs vers des couches de stockage moins coûteuses et libère de la mémoire HBM grâce au déploiement distribué sur plusieurs GPU. Nvidia révèle que, lors du test AgentX de SemiAnalysis, le GB300 NVL72 a atteint, sur certaines charges de travail, un débit d’inférence par unité de coût jusqu’à 10 fois supérieur à celui de la plateforme H200. Par rapport au GB300 NVL72, le Vera Rubin NVL72 offre un débit d’inférence par unité de coût jusqu’à 30 fois supérieur, alors que la capacité HBM par GPU n’augmente que d’environ 3 %. (Source : ME)