Baidu ha publicado como código abierto ERNIE 5.5 Flash Base, con 280.000 millones de parámetros en total.

Este es ERNIE 5.5 Flash Base. Utiliza una arquitectura MoE y activa 14.000 millones de parámetros por token. El preentrenamiento utilizó 33,5 billones de tokens y admite una longitud máxima de contexto de 128K durante el preentrenamiento; en las fases de ajuste fino e inferencia admite contextos de hasta 1 millón de tokens.

· El material solo incluye las especificaciones del modelo; no indica la licencia de código abierto, los resultados de las evaluaciones ni cómo descargar los pesos.

#百度 #Modelos de lenguaje de código abierto

Con un contexto de 1 millón de tokens, ¿qué probarías primero: documentos largos o un repositorio de código?