Sagar Vaze, de Mistral AI, vient de présenter des calculs d’efficacité impressionnants sur le calcul de préentraînement. Mistral Large 4 utilise environ 10 % des FLOPs des modèles denses traditionnels, tout en écrasant la concurrence dans les benchmarks en finance, en droit et en programmation agentique.

Le secret ? Une architecture MoE clairsemée. GPT-3 était un modèle dense de 175B paramètres : chaque paramètre était activé pour chaque token. Mistral Large 4 compte 1 trillion de paramètres au total, mais n’en active qu’environ 50B par token (moins d’un tiers du nombre de paramètres actifs de GPT-3).

Comme les FLOPs d’entraînement évoluent en fonction des paramètres actifs par token, et non du nombre total de paramètres, on peut intégrer beaucoup plus de capacité sans augmenter proportionnellement le coût de calcul. Cela remet essentiellement en cause l’ancienne règle selon laquelle « modèle plus grand = plus de FLOPs ».

Vaze souligne aussi que les benchmarks en FLOPs sont des cibles mouvantes : l’efficacité du préentraînement ne cesse de s’améliorer, si bien que le « calcul minimal viable » d’hier ne sera plus pertinent demain. Le véritable enjeu, c’est l’efficacité en paramètres par token, et non la taille brute du modèle.