Un modèle d’un billion de paramètres qui n’en utilise que 5 % pour raisonner.
Hier, Mistral a lancé Large 4 (Le Chonk) : un billion de paramètres, dont seulement 49 milliards sont activés. Disponible en open source le 27 octobre.
L’accumulation de paramètres sera-t-elle remplacée par l’activation parcimonieuse, ou la force brute continuera-t-elle de l’emporter ? De quel côté êtes-vous ?
Hier, Mistral a lancé Large 4 (Le Chonk) : un billion de paramètres, dont seulement 49 milliards sont activés. Disponible en open source le 27 octobre.
L’accumulation de paramètres sera-t-elle remplacée par l’activation parcimonieuse, ou la force brute continuera-t-elle de l’emporter ? De quel côté êtes-vous ?