Mistral AIは火曜日、同社のモデル「Le Chonk」であるMistral Large 4は総パラメーター数が1兆で、一度に有効になるのは490億だと発表した。
主なポイント
Mistral Large 4の総パラメーター数は1兆で、リクエストごとに490億が有効になる
MistralはLe Chonkを直ちにAPI経由で提供開始し、オープンウェイトは後日公開する予定
Mistralによると、Le Chonkはネイティブのマルチモーダルモデルで、米国または欧州で開発されたオープンウェイトモデルの中で最高の性能を誇る
MistralはLarge 4の学習に必要な計算量やコストの数値を公表しなかった
フランスの研究所はこのシステムに「レ・ション」という愛称を付け、APIを通じて直ちに提供を開始した。オープンウェイト版も今後公開する予定だ。
Mistralによると、このモデルはネイティブのマルチモーダル対応で、複数のベンチマークを集計した評価では、米国または欧州で開発されたオープンウェイトモデルの中で最高の性能を示している。
パラメーターとは、ニューラルネットワーク内部にある調整可能な数値で、モデルの振る舞いを決めるものだ。おおまかに言えば、学習データからパターンを学ぶ際にモデルが調整できるダイヤルの数に相当する。
Mistral Large 4はMixture-of-Experts（専門家混合）設計を採用している。つまり、全1兆個のパラメーターが専門化されたサブネットワークに分かれており、各リクエストの処理に実際に使われるのは、そのうちの一部にあたる490億個のアクティブパラメーターだけだ。そのため、はるかに大規模なモデルの知識容量を保ちながら、推論コストをずっと小さなモデルに近い水準に抑えられる。
レ・ションとオープンウェイトの最前線
Mistralは、他の研究所が非公開にしているウェイトを公開することで、その独自性を築いてきた。
同社は2023年にパリで、MetaとGoogle DeepMindの元研究者らによって設立され、OpenAIやAnthropicに対抗する欧州勢としての地位を築いてきた。このリリースは、DeepSeekのような中国のオープンウェイト研究所が西側の最先端システムとのベンチマークの差を大きく縮めたのと同じ週に発表され、オープンソース分野での存在感を狙う各研究所への圧力を強めている。
こちらも読む：Aleph Alpha、主権を重視した欧州製オープンウェイトモデル「Kolibri」を公開
競争上の武器としてのオープンウェイト
Mistralのアプローチは、OpenAIやAnthropicが主力システムで採用しているクローズドウェイト戦略とは対照的だ。
Reflection AIをはじめとする競合研究所も今月、大規模なモデルを相次いで公開している。これは、競争の軸がベンチマークの生のスコアだけでなく、開発者の支持を得ることへと移りつつある兆しだ。MistralはLarge 4の学習に使用した計算資源や費用を明らかにしていない。
次の記事：送電網の拡張を上回る、7,750億ドル規模の設備投資ラッシュの内幕