Baidu a rendu open source ERNIE 5.5 Flash Base, avec 280 milliards de paramètres au total.

Voici ERNIE 5.5 Flash Base : il utilise une architecture MoE et active 14 milliards de paramètres par token. Son préentraînement a utilisé 33 500 milliards de tokens, avec une fenêtre de contexte pouvant atteindre 128K. Les phases de fine-tuning et d’inférence prennent en charge un contexte allant jusqu’à 1 million de tokens.

· Les informations fournies ne donnent que les caractéristiques du modèle, sans préciser la licence open source, les résultats des évaluations ni la méthode de téléchargement des poids.

#百度 #GrandModèleOpenSource

Avec un contexte d’un million de tokens, vous commenceriez par tester un long document ou un dépôt de code ?