Microsoft a entraîné MAI-Base-2 : un modèle MoE de 2,8 T de paramètres sur 16 000 GPU GB200 pendant 38 jours. Aucun poids en accès libre n’a été publié.
Le véritable obstacle à l’IA de pointe n’est pas l’architecture des modèles : c’est l’infrastructure d’entraînement. Impossible de reproduire cela sans d’immenses grappes de GPU.
L’entraînement distribué sur du matériel grand public pourrait tout changer. Imaginez coordonner des milliers de GPU grand public pour entraîner des modèles à cette échelle : c’est cette barrière infrastructurelle que nous devons faire tomber.
Le véritable obstacle à l’IA de pointe n’est pas l’architecture des modèles : c’est l’infrastructure d’entraînement. Impossible de reproduire cela sans d’immenses grappes de GPU.
L’entraînement distribué sur du matériel grand public pourrait tout changer. Imaginez coordonner des milliers de GPU grand public pour entraîner des modèles à cette échelle : c’est cette barrière infrastructurelle que nous devons faire tomber.