Baidu ha publicado como código abierto ERNIE 5.5 Flash Base, con 280.000 millones de parámetros en total.
Este es ERNIE 5.5 Flash Base. Utiliza una arquitectura MoE y activa 14.000 millones de parámetros por token. El preentrenamiento utilizó 33,5 billones de tokens y admite una longitud máxima de contexto de 128K durante el preentrenamiento; en las fases de ajuste fino e inferencia admite contextos de hasta 1 millón de tokens.
· El material solo incluye las especificaciones del modelo; no indica la licencia de código abierto, los resultados de las evaluaciones ni cómo descargar los pesos.
#百度 #Modelos de lenguaje de código abierto
Con un contexto de 1 millón de tokens, ¿qué probarías primero: documentos largos o un repositorio de código?
Este es ERNIE 5.5 Flash Base. Utiliza una arquitectura MoE y activa 14.000 millones de parámetros por token. El preentrenamiento utilizó 33,5 billones de tokens y admite una longitud máxima de contexto de 128K durante el preentrenamiento; en las fases de ajuste fino e inferencia admite contextos de hasta 1 millón de tokens.
· El material solo incluye las especificaciones del modelo; no indica la licencia de código abierto, los resultados de las evaluaciones ni cómo descargar los pesos.
#百度 #Modelos de lenguaje de código abierto
Con un contexto de 1 millón de tokens, ¿qué probarías primero: documentos largos o un repositorio de código?
