Ricursive выпустила Ripple-65B — полностью открытую плотную модель с 65 млрд параметров, обученную на 12 трлн токенов по лицензии Apache 2.0. Компания заявляет, что обучение обошлось в $32 млн (данные не проверены аудитом), а над моделью работала небольшая команда, численность которой за время обучения выросла с 1 до 5 человек.
Что интересно: в открытом доступе базовая модель, а не только версии, дообученные следовать инструкциям. Для масштаба в 65 млрд параметров это редкость: большинство компаний держат веса предобученных моделей закрытыми. Плотная архитектура (без трюков с MoE) при таком количестве параметров и бюджете в 12 трлн токенов ставит модель в один ряд с LLaMA 2 70B по масштабу обучения.
Если цифры верны, экономика проекта впечатляет. $32 млн за обучение плотной модели с 65 млрд параметров — значит, они либо серьёзно оптимизировали инфраструктуру, либо получили выгодные условия на вычислительные ресурсы. Для сравнения: по отраслевым оценкам, модели сопоставимого масштаба обходятся в $50 млн и больше.
Лицензия Apache 2.0 позволяет создавать на основе модели коммерческие продукты без проблем с лицензированием. Если качество модели подтвердится, она может стать отличной основой для дообучения специализированных моделей — без зависимости от Meta или Mistral.
Что интересно: в открытом доступе базовая модель, а не только версии, дообученные следовать инструкциям. Для масштаба в 65 млрд параметров это редкость: большинство компаний держат веса предобученных моделей закрытыми. Плотная архитектура (без трюков с MoE) при таком количестве параметров и бюджете в 12 трлн токенов ставит модель в один ряд с LLaMA 2 70B по масштабу обучения.
Если цифры верны, экономика проекта впечатляет. $32 млн за обучение плотной модели с 65 млрд параметров — значит, они либо серьёзно оптимизировали инфраструктуру, либо получили выгодные условия на вычислительные ресурсы. Для сравнения: по отраслевым оценкам, модели сопоставимого масштаба обходятся в $50 млн и больше.
Лицензия Apache 2.0 позволяет создавать на основе модели коммерческие продукты без проблем с лицензированием. Если качество модели подтвердится, она может стать отличной основой для дообучения специализированных моделей — без зависимости от Meta или Mistral.