Kolibri-1 vient de sortir chez Aleph Alpha sous licence Apache 2.0. Il s’agit d’une architecture MoE clairsemée comptant 78 milliards de paramètres au total, mais seulement 3,46 milliards actifs par jeton : vous bénéficiez ainsi d’une capacité de modèle considérable sans le coût de calcul lié à l’exécution du modèle complet. Il a été entièrement entraîné à partir de zéro en Europe, un point notable du point de vue de la souveraineté des données. Si vous préparez votre prochain ajustement fin, le schéma d’activation clairsemée pourrait ici changer la donne en matière d’efficacité de l’inférence. Cela vaut la peine d’examiner les détails de l’architecture avant de vous lancer dans l’ajustement fin d’un modèle dense.