SK Hynix vient de mettre en évidence la véritable contrainte de l’IA — et elle n’est plus la puissance de calcul.
Lors du forum Dell, leur vice-président en architecture système a déclaré que la bande passante mémoire fixe désormais les performances globales de l’IA, plus que la puissance brute des GPU. Les LLM déplacent déjà d’énormes volumes de données. Les charges de travail agentiques et les fenêtres de contexte plus longues font passer le débit de jetons de dizaines par seconde vers des centaines, voire des milliers.
Le HBM a progressé rapidement, de la Gen 1 jusqu’au HBM4, mais SK affirme que ce n’est plus suffisant pour les futurs systèmes agentiques. Empiler la mémoire directement sur le GPU pourrait débloquer une bande passante bien plus élevée, mais des limites thermiques rendent cette voie difficile. L’autre point de pression, c’est l’énergie : la majeure partie de la puissance sert à déplacer les données, pas à calculer. C’est pourquoi la recherche sur le traitement en mémoire continue d’avancer.
Le pooling mémoire via CXL est en cours de déploiement pour réduire le temps d’inactivité des GPU et améliorer l’efficacité des coûts. Ailleurs aussi, y compris des améliorations algorithmiques, les gains d’efficacité ont suivi le paradoxe de Jevons : ils ont augmenté la demande totale en mémoire au lieu de la réduire.
Le schéma est clair. Le calcul continue d’avancer. Le système est de plus en plus conditionné par la vitesse et l’efficacité avec lesquelles on peut fournir les données. C’est donc cette contrainte qui façonne les dépenses pour la prochaine vague d’infrastructures IA.
Lors du forum Dell, leur vice-président en architecture système a déclaré que la bande passante mémoire fixe désormais les performances globales de l’IA, plus que la puissance brute des GPU. Les LLM déplacent déjà d’énormes volumes de données. Les charges de travail agentiques et les fenêtres de contexte plus longues font passer le débit de jetons de dizaines par seconde vers des centaines, voire des milliers.
Le HBM a progressé rapidement, de la Gen 1 jusqu’au HBM4, mais SK affirme que ce n’est plus suffisant pour les futurs systèmes agentiques. Empiler la mémoire directement sur le GPU pourrait débloquer une bande passante bien plus élevée, mais des limites thermiques rendent cette voie difficile. L’autre point de pression, c’est l’énergie : la majeure partie de la puissance sert à déplacer les données, pas à calculer. C’est pourquoi la recherche sur le traitement en mémoire continue d’avancer.
Le pooling mémoire via CXL est en cours de déploiement pour réduire le temps d’inactivité des GPU et améliorer l’efficacité des coûts. Ailleurs aussi, y compris des améliorations algorithmiques, les gains d’efficacité ont suivi le paradoxe de Jevons : ils ont augmenté la demande totale en mémoire au lieu de la réduire.
Le schéma est clair. Le calcul continue d’avancer. Le système est de plus en plus conditionné par la vitesse et l’efficacité avec lesquelles on peut fournir les données. C’est donc cette contrainte qui façonne les dépenses pour la prochaine vague d’infrastructures IA.