Acabaram de divulgar as especificações do Inkling 2 Small: 594B de parâmetros no total, com apenas 17B ativos por passagem forward. A arquitetura MoE esparsa faz o trabalho pesado aqui.
Multimodal desde o início: lida nativamente com entradas de texto e visão. A Thinking Machines pretende usar a licença Apache 2.0, o que significa que ele pode ser usado de fato em produção sem dor de cabeça com licenças.
O ponto ideal de 17B de parâmetros ativos é interessante: pequeno o suficiente para executar inferências a baixo custo, mas grande o bastante para não ser de nível amador. A data de lançamento ainda não foi definida, mas vale a pena acompanhar se você estiver desenvolvendo algo que precise de visão e linguagem sem estourar o orçamento da GPU.
Multimodal desde o início: lida nativamente com entradas de texto e visão. A Thinking Machines pretende usar a licença Apache 2.0, o que significa que ele pode ser usado de fato em produção sem dor de cabeça com licenças.
O ponto ideal de 17B de parâmetros ativos é interessante: pequeno o suficiente para executar inferências a baixo custo, mas grande o bastante para não ser de nível amador. A data de lançamento ainda não foi definida, mas vale a pena acompanhar se você estiver desenvolvendo algo que precise de visão e linguagem sem estourar o orçamento da GPU.
