百度がERNIE 5.5 Flashをオープンソース化：パラメータ数2800億、1トークンあたりのアクティブパラメータ数は140億
百度はERNIE 5.5 Flashを公開し、重みをオープンにした。総パラメータ数は2800億で、1トークンあたり140億がアクティブになる。ファインチューニングと推論では、100万トークンのコンテキストに対応する。
今回公開されたのはBase版で、中間学習と後学習はまだ実施されていない。後学習版は後日リリースされる予定だ。開発者はライセンス条項にも注意が必要だ。地域による除外、連続する12か月間の関連収益に基づく5000万ドルの基準、そして「Powered by ERNIE」の表示要件が含まれる。
注目点は、こうした大規模な疎モデルの重みが公開された後、ローカルでのデプロイや二次開発にかかるコストの境界がどこにあるかだ。
詳細な条件とライセンス要件は画像を参照。
#btc #crypto #ERNIE