Baidu открыла исходный код ERNIE 5.5 Flash: 280 млрд параметров, активируется 14 млрд на токен
Baidu выпустила ERNIE 5.5 Flash и открыла доступ к весам модели. Всего в ней 280 млрд параметров, из которых на каждый токен активируются 14 млрд; дообучение и инференс поддерживают контекст длиной до 1 млн токенов.
Выпущена базовая версия, ещё не прошедшая промежуточное и последующее обучение. Версия с последующим обучением выйдет позже. Разработчикам также следует обратить внимание на условия лицензии: в них предусмотрены территориальные ограничения, порог в 50 млн долларов США, определяемый по выручке за любые последовательные 12 месяцев, а также требование указывать «Powered by ERNIE».
Главный вопрос — как изменятся границы затрат на локальное развёртывание и вторичную разработку после открытия весов таких разреженных моделей с большим числом параметров.
Подробности и условия лицензии см. на изображении.
#btc #crypto #ERNIE
Baidu выпустила ERNIE 5.5 Flash и открыла доступ к весам модели. Всего в ней 280 млрд параметров, из которых на каждый токен активируются 14 млрд; дообучение и инференс поддерживают контекст длиной до 1 млн токенов.
Выпущена базовая версия, ещё не прошедшая промежуточное и последующее обучение. Версия с последующим обучением выйдет позже. Разработчикам также следует обратить внимание на условия лицензии: в них предусмотрены территориальные ограничения, порог в 50 млн долларов США, определяемый по выручке за любые последовательные 12 месяцев, а также требование указывать «Powered by ERNIE».
Главный вопрос — как изменятся границы затрат на локальное развёртывание и вторичную разработку после открытия весов таких разреженных моделей с большим числом параметров.
Подробности и условия лицензии см. на изображении.
#btc #crypto #ERNIE
