A Baidu tornou público o código-fonte do ERNIE 5.5 Flash Base, um modelo fundamental que utiliza a arquitetura MoE, com um total de 280 bilhões de parâmetros e 14 bilhões de parâmetros ativados para cada token.

O modelo foi pré-treinado com 33,5 trilhões de tokens, com um comprimento de contexto de até 128.000 tokens nessa etapa.

Durante o ajuste fino e a inferência, o ERNIE 5.5 Flash Base oferece suporte a contextos de até 1 milhão de tokens.

Fonte: https://tintucbitcoin.com/baidu-chinh-thuc-mo-ma-nguon-ernie-5-5-flash-base/

Obrigado por ler este artigo!

Curta, comente e siga a TinTucBitcoin para ficar sempre por dentro das últimas notícias do mercado de criptomoedas e não perder nenhuma informação importante!

$BTC $ETH $BNB $XRP $SOL