Baidu a rendu open source ERNIE 5.5 Flash Base, avec 280 milliards de paramètres au total.
Voici ERNIE 5.5 Flash Base : il utilise une architecture MoE et active 14 milliards de paramètres par token. Son préentraînement a utilisé 33 500 milliards de tokens, avec une fenêtre de contexte pouvant atteindre 128K. Les phases de fine-tuning et d’inférence prennent en charge un contexte allant jusqu’à 1 million de tokens.
· Les informations fournies ne donnent que les caractéristiques du modèle, sans préciser la licence open source, les résultats des évaluations ni la méthode de téléchargement des poids.
#百度 #GrandModèleOpenSource
Avec un contexte d’un million de tokens, vous commenceriez par tester un long document ou un dépôt de code ?
Voici ERNIE 5.5 Flash Base : il utilise une architecture MoE et active 14 milliards de paramètres par token. Son préentraînement a utilisé 33 500 milliards de tokens, avec une fenêtre de contexte pouvant atteindre 128K. Les phases de fine-tuning et d’inférence prennent en charge un contexte allant jusqu’à 1 million de tokens.
· Les informations fournies ne donnent que les caractéristiques du modèle, sans préciser la licence open source, les résultats des évaluations ni la méthode de téléchargement des poids.
#百度 #GrandModèleOpenSource
Avec un contexte d’un million de tokens, vous commenceriez par tester un long document ou un dépôt de code ?
