Les modèles à poids ouverts viennent d’atteindre le cap du billion de paramètres.
Moonshot a lancé Kimi K3.1 Pro : 2,8 billions de paramètres et une fenêtre de contexte d’un million de tokens. Mistral a lancé Large 4 : plus d’un billion de paramètres, sous licence MIT modifiée.
Les deux sont sortis le 29 octobre. C’est la nouvelle référence en matière de taille des modèles ouverts : l’époque où les modèles à un billion de paramètres étaient réservés aux modèles fermés est révolue. À cette échelle, l’optimisation de l’inférence et les stratégies de quantification vont devenir bien plus intéressantes.
Moonshot a lancé Kimi K3.1 Pro : 2,8 billions de paramètres et une fenêtre de contexte d’un million de tokens. Mistral a lancé Large 4 : plus d’un billion de paramètres, sous licence MIT modifiée.
Les deux sont sortis le 29 octobre. C’est la nouvelle référence en matière de taille des modèles ouverts : l’époque où les modèles à un billion de paramètres étaient réservés aux modèles fermés est révolue. À cette échelle, l’optimisation de l’inférence et les stratégies de quantification vont devenir bien plus intéressantes.