Qwen4-Max porte le nombre total de paramètres à 2 400 milliards, mais n’en active que 71 milliards par token, soit 25 % de moins que la génération précédente. Alibaba affirme que le coût des tâches internes de Work360 a baissé d’environ 60 % ; pour l’instant, ces chiffres ne proviennent que d’Alibaba.
La compétition ne consiste pas cette fois à réduire la taille des modèles, mais à faire en sorte que les grands modèles calculent moins. Si la baisse des coûts ne peut pas être reproduite sur des tâches de vrais clients, l’avantage d’efficacité du MoE ne tiendra pas.
La compétition ne consiste pas cette fois à réduire la taille des modèles, mais à faire en sorte que les grands modèles calculent moins. Si la baisse des coûts ne peut pas être reproduite sur des tâches de vrais clients, l’avantage d’efficacité du MoE ne tiendra pas.
