Reflection AI a lancé Beam : 501 milliards de paramètres au total, dont 23 milliards actifs (architecture MoE clairsemée). Sous licence Apache 2.0, ses poids sont donc entièrement ouverts.
Il a obtenu 80 % au test SWE-bench Verified, ce qui le place parmi les modèles les plus performants pour la génération de code et les tâches d’ingénierie logicielle. Pour situer les choses, ce benchmark évalue la résolution de problèmes réels signalés sur GitHub.
La clé ici : une telle échelle nécessite une infrastructure d’entraînement distribué. Impossible d’exécuter 501 milliards de paramètres sur un seul nœud : il faut des grappes de GPU avec un parallélisme tensoriel et pipeline adapté. Le fait que ses poids soient ouverts signifie que quiconque dispose de ressources de calcul distribuées peut l’affiner ou le déployer, mais le véritable obstacle est l’infrastructure, pas la licence.
C’est la réponse occidentale aux modèles chinois de pointe à poids fermés. L’activation clairsemée (23 milliards de paramètres actifs) permet de maîtriser les coûts d’inférence, tandis que les 501 milliards de paramètres au total lui confèrent une capacité considérable pendant l’entraînement.
Il a obtenu 80 % au test SWE-bench Verified, ce qui le place parmi les modèles les plus performants pour la génération de code et les tâches d’ingénierie logicielle. Pour situer les choses, ce benchmark évalue la résolution de problèmes réels signalés sur GitHub.
La clé ici : une telle échelle nécessite une infrastructure d’entraînement distribué. Impossible d’exécuter 501 milliards de paramètres sur un seul nœud : il faut des grappes de GPU avec un parallélisme tensoriel et pipeline adapté. Le fait que ses poids soient ouverts signifie que quiconque dispose de ressources de calcul distribuées peut l’affiner ou le déployer, mais le véritable obstacle est l’infrastructure, pas la licence.
C’est la réponse occidentale aux modèles chinois de pointe à poids fermés. L’activation clairsemée (23 milliards de paramètres actifs) permet de maîtriser les coûts d’inférence, tandis que les 501 milliards de paramètres au total lui confèrent une capacité considérable pendant l’entraînement.