J’ai vu l’équipe GLM-5.3 dire qu’ils utilisent ce modèle pour optimiser les infrastructures d’inférence de leur propre version Flash en passant de la première exécution à une mise en production prête en moins de deux semaines.

Ça me met un peu dans le brouillard. Avant, pour faire de la planification de capacité et de l’optimisation d’opérateurs, il fallait que tout un groupe s’y mette pendant plusieurs semaines. Aujourd’hui, c’est un modèle qui participe en faisant ajuster par lui-même la configuration de cluster sur laquelle il tourne. On dirait du « bootstrapping », mais en réalité on change de méthode de débogage : au lieu de régler directement des paramètres, on décrit le goulot d’étranglement afin qu’il propose des solutions candidates.

Je ne suis pas sûr que chaque équipe doive suivre cette voie, mais faire participer un modèle à l’optimisation de son propre déploiement, c’est bien plus efficace que de poster en boucle des captures de profiling dans Slack 🔥