A Baidu lançou como código aberto o ERNIE 5.5 Flash Base, com 280 bilhões de parâmetros.
Este é o ERNIE 5.5 Flash Base, que usa uma arquitetura MoE e ativa 14 bilhões de parâmetros por token. O pré-treinamento usou 33,5 trilhões de tokens, com um contexto de até 128K. Nas etapas de ajuste fino e inferência, é compatível com contextos de até 1 milhão de tokens.
· O material informa apenas as especificações do modelo; não apresenta a licença de código aberto, resultados de avaliações nem formas de baixar os pesos.
#百度 #Modelos de linguagem de código aberto
Com um contexto de 1 milhão de tokens, você começaria testando documentos longos ou um repositório de código?
Este é o ERNIE 5.5 Flash Base, que usa uma arquitetura MoE e ativa 14 bilhões de parâmetros por token. O pré-treinamento usou 33,5 trilhões de tokens, com um contexto de até 128K. Nas etapas de ajuste fino e inferência, é compatível com contextos de até 1 milhão de tokens.
· O material informa apenas as especificações do modelo; não apresenta a licença de código aberto, resultados de avaliações nem formas de baixar os pesos.
#百度 #Modelos de linguagem de código aberto
Com um contexto de 1 milhão de tokens, você começaria testando documentos longos ou um repositório de código?
