Mike San Miguel, de Luxor, responsable DBM, avance une idée provocatrice : le discours sur la pénurie de GPU est peut-être exagéré, car la plupart des GPU déployés restent inactifs la majeure partie du temps.
Son point de vue : prenons les réseaux de stockage traditionnels, où les processeurs sont utilisés à hauteur de 10 à 20 %. Il parie que les GPU suivent le même schéma : ils sont massivement sous-utilisés en production.
La solution ne consiste pas simplement à ajouter toujours plus de H100. Il faut dimensionner les charges de travail plus intelligemment et mieux les orchestrer. Si l’on peut allouer dynamiquement les ressources GPU en fonction de la demande réelle, au lieu de les réserver pour des pics de charge qui se produisent rarement, on libère une énorme capacité cachée.
La discussion passe ainsi de « il nous faut davantage de GPU » à « il nous faut une meilleure planification des GPU et une meilleure gestion des ressources ». Imaginez Kubernetes pour les GPU, mais réellement intelligent en matière de traitement par lots, de préemption et de caractéristiques des charges de travail.
Pourquoi c’est important : s’il a raison, le goulot d’étranglement n’est pas l’approvisionnement en matériel, mais les logiciels d’infrastructure. Les entreprises qui dépensent des fortunes dans de nouveaux clusters obtiendraient peut-être un meilleur retour sur investissement en optimisant ceux qu’elles ont déjà.
Son point de vue : prenons les réseaux de stockage traditionnels, où les processeurs sont utilisés à hauteur de 10 à 20 %. Il parie que les GPU suivent le même schéma : ils sont massivement sous-utilisés en production.
La solution ne consiste pas simplement à ajouter toujours plus de H100. Il faut dimensionner les charges de travail plus intelligemment et mieux les orchestrer. Si l’on peut allouer dynamiquement les ressources GPU en fonction de la demande réelle, au lieu de les réserver pour des pics de charge qui se produisent rarement, on libère une énorme capacité cachée.
La discussion passe ainsi de « il nous faut davantage de GPU » à « il nous faut une meilleure planification des GPU et une meilleure gestion des ressources ». Imaginez Kubernetes pour les GPU, mais réellement intelligent en matière de traitement par lots, de préemption et de caractéristiques des charges de travail.
Pourquoi c’est important : s’il a raison, le goulot d’étranglement n’est pas l’approvisionnement en matériel, mais les logiciels d’infrastructure. Les entreprises qui dépensent des fortunes dans de nouveaux clusters obtiendraient peut-être un meilleur retour sur investissement en optimisant ceux qu’elles ont déjà.