Baidu a mis aujourd’hui sur Qianfan la version préliminaire de Wenxin 5.5 Flash : 280 milliards de paramètres au total, dont seulement 14 milliards activés, et une fenêtre de contexte portée à un million de tokens. Les poids devraient être publiés en open source avant le 25 novembre.
Mais Baidu a d’emblée tempéré les attentes : cette version intermédiaire n’a achevé que la moitié du post-entraînement. Certaines lacunes s’expliquent simplement par un entraînement encore insuffisant. La version finale viendra plus tard. En publiant dès maintenant l’API et en fixant une date pour l’ouverture des poids, l’entreprise veut surtout permettre aux développeurs de prendre de l’avance.
Je ne parlerai pas encore de remplacement des solutions étrangères. Je vais attendre de voir si les poids seront vraiment publiés le 25, et si les résultats de la communauté seront à la hauteur des chiffres annoncés officiellement. C’est seulement lorsque ces deux points seront concrétisés que l’écosystème open source pourra réellement progresser. Si la publication est reportée ou si les scores sont revus à la baisse, cette version ne sera qu’un support de présentation.
Mais Baidu a d’emblée tempéré les attentes : cette version intermédiaire n’a achevé que la moitié du post-entraînement. Certaines lacunes s’expliquent simplement par un entraînement encore insuffisant. La version finale viendra plus tard. En publiant dès maintenant l’API et en fixant une date pour l’ouverture des poids, l’entreprise veut surtout permettre aux développeurs de prendre de l’avance.
Je ne parlerai pas encore de remplacement des solutions étrangères. Je vais attendre de voir si les poids seront vraiment publiés le 25, et si les résultats de la communauté seront à la hauteur des chiffres annoncés officiellement. C’est seulement lorsque ces deux points seront concrétisés que l’écosystème open source pourra réellement progresser. Si la publication est reportée ou si les scores sont revus à la baisse, cette version ne sera qu’un support de présentation.