Baidu publie en open source ERNIE 5.5 Flash : 280 milliards de paramètres, dont 14 milliards activés par token
Baidu lance ERNIE 5.5 Flash et en publie les poids : 280 milliards de paramètres au total, dont 14 milliards activés par token. Le fine-tuning et l’inférence prennent en charge un contexte d’un million de tokens.
La version publiée est la version Base, qui n’a pas encore bénéficié d’un entraînement intermédiaire ni d’un post-entraînement. La version post-entraînée sera disponible ultérieurement. Les développeurs doivent également prêter attention aux conditions de licence : elles prévoient des exclusions géographiques, un seuil de 50 millions de dollars fondé sur le chiffre d’affaires associé cumulé sur 12 mois consécutifs, ainsi qu’une obligation d’afficher la mention « Powered by ERNIE ».
La question est de savoir où se situera la limite des coûts du déploiement local et du développement de solutions dérivées, une fois les poids de modèles clairsemés de grande taille comme celui-ci rendus disponibles.
Voir l’image pour les détails et les conditions de licence.
#btc #crypto #ERNIE
Baidu lance ERNIE 5.5 Flash et en publie les poids : 280 milliards de paramètres au total, dont 14 milliards activés par token. Le fine-tuning et l’inférence prennent en charge un contexte d’un million de tokens.
La version publiée est la version Base, qui n’a pas encore bénéficié d’un entraînement intermédiaire ni d’un post-entraînement. La version post-entraînée sera disponible ultérieurement. Les développeurs doivent également prêter attention aux conditions de licence : elles prévoient des exclusions géographiques, un seuil de 50 millions de dollars fondé sur le chiffre d’affaires associé cumulé sur 12 mois consécutifs, ainsi qu’une obligation d’afficher la mention « Powered by ERNIE ».
La question est de savoir où se situera la limite des coûts du déploiement local et du développement de solutions dérivées, une fois les poids de modèles clairsemés de grande taille comme celui-ci rendus disponibles.
Voir l’image pour les détails et les conditions de licence.
#btc #crypto #ERNIE
