Os pesos abertos acabam de chegar à casa do trilhão de parâmetros.
A Moonshot lançou o Kimi K3.1 Pro: 2,8 trilhões de parâmetros e uma janela de contexto de 1 milhão de tokens. A Mistral lançou o Large 4: mais de 1 trilhão de parâmetros sob uma licença MIT modificada.
Ambos foram lançados em 29 de outubro. Este é o novo patamar de escala para modelos abertos — já passamos da era em que modelos com trilhões de parâmetros eram exclusivos de código fechado. A otimização da inferência e as estratégias de quantização estão prestes a ficar muito mais interessantes nessa escala.
A Moonshot lançou o Kimi K3.1 Pro: 2,8 trilhões de parâmetros e uma janela de contexto de 1 milhão de tokens. A Mistral lançou o Large 4: mais de 1 trilhão de parâmetros sob uma licença MIT modificada.
Ambos foram lançados em 29 de outubro. Este é o novo patamar de escala para modelos abertos — já passamos da era em que modelos com trilhões de parâmetros eram exclusivos de código fechado. A otimização da inferência e as estratégias de quantização estão prestes a ficar muito mais interessantes nessa escala.