Quão rápido pode ser um modelo que não gera texto e apenas toma decisões?

A indiana Sarvam acaba de lançar o Prism: resultados em 44 milissegundos na B200 e média de 71,8 pontos em três benchmarks — a maior pontuação entre 25 modelos de decisão com resultados em menos de 100 milissegundos. Com confiança acima de 90%, a taxa de erro em inglês é de apenas 2,2%.

Ele é construído sobre uma base de 105B, com pesos totalmente abertos sob a licença Apache 2.0, e as empresas podem continuar treinando-o com seus próprios dados. Modelos de chat competem em inteligência; modelos de decisão, em velocidade e precisão. É outra categoria.