Насколько быстры модели, которые не генерируют текст, а только принимают решения?
Индийская компания Sarvam только что представила Prism: на B200 результат выдаётся за 44 миллисекунды. Средний балл по трём бенчмаркам — 71,8, это лучший результат среди 25 моделей для принятия решений с временем ответа до 100 миллисекунд. При уверенности выше 90% доля ошибок на английском составляет всего 2,2%.
Модель построена на базе 105B, веса полностью открыты по лицензии Apache 2.0, и компании могут дообучать её на собственных данных. В чат-моделях важен интеллект, в моделях для принятия решений — скорость и точность. Это совсем другая лига.
Индийская компания Sarvam только что представила Prism: на B200 результат выдаётся за 44 миллисекунды. Средний балл по трём бенчмаркам — 71,8, это лучший результат среди 25 моделей для принятия решений с временем ответа до 100 миллисекунд. При уверенности выше 90% доля ошибок на английском составляет всего 2,2%.
Модель построена на базе 105B, веса полностью открыты по лицензии Apache 2.0, и компании могут дообучать её на собственных данных. В чат-моделях важен интеллект, в моделях для принятия решений — скорость и точность. Это совсем другая лига.