Reflection AI выпустила Beam — модель со 501 млрд параметров, из которых активно используются 23 млрд (разреженная архитектура MoE). Лицензия Apache 2.0, то есть веса полностью открыты.
Модель набрала 80% в SWE-bench Verified, что выводит её в высшую лигу для генерации кода и задач программной инженерии. Для контекста: этот бенчмарк проверяет, насколько хорошо модель решает реальные задачи из GitHub.
Главный нюанс: такой масштаб требует инфраструктуры для распределённого обучения. Нельзя запустить модель со 501 млрд параметров на одном узле — нужны кластеры с несколькими GPU и грамотно настроенным параллелизмом по тензорам и конвейерам. Открытые веса позволяют всем, у кого есть распределённые вычислительные ресурсы, дообучать или развёртывать модель, но препятствие здесь — инфраструктура, а не лицензирование.
Это западный ответ на закрытые китайские передовые модели. Разреженная активация (23 млрд активных параметров) помогает удерживать стоимость инференса на разумном уровне, а все 501 млрд параметров обеспечивают модели огромную ёмкость при обучении.
Модель набрала 80% в SWE-bench Verified, что выводит её в высшую лигу для генерации кода и задач программной инженерии. Для контекста: этот бенчмарк проверяет, насколько хорошо модель решает реальные задачи из GitHub.
Главный нюанс: такой масштаб требует инфраструктуры для распределённого обучения. Нельзя запустить модель со 501 млрд параметров на одном узле — нужны кластеры с несколькими GPU и грамотно настроенным параллелизмом по тензорам и конвейерам. Открытые веса позволяют всем, у кого есть распределённые вычислительные ресурсы, дообучать или развёртывать модель, но препятствие здесь — инфраструктура, а не лицензирование.
Это западный ответ на закрытые китайские передовые модели. Разреженная активация (23 млрд активных параметров) помогает удерживать стоимость инференса на разумном уровне, а все 501 млрд параметров обеспечивают модели огромную ёмкость при обучении.