Kolibriのオープンウェイトモデルは10月3日に公開されました。ドイツのAI研究機関Aleph Alphaは、ドイツ統一記念日に780億パラメータのシステムを発表し、このローンチを欧州の技術的自立を示すものと位置づけました。

要点

  • Aleph Alphaは10月3日、Apache 2.0ライセンスの下で、780億パラメータのKolibriモデルを公開しました

  • Kolibriは最大100万トークンのコンテキストウィンドウに対応し、一度の処理で約75万語を扱えます

  • Kolibriの780億パラメータのうち、Mixture-of-Expertsアーキテクチャにより、クエリごとに有効化されるのはわずか30億パラメータです

  • Aleph Alphaは、Kolibriと米国の最先端モデルを比較した独立したベンチマーク結果を公表していません

このモデルはApache 2.0ライセンスの下でHugging Faceから無料でダウンロードできます。つまり、企業や政府はAleph Alphaに料金を支払うことなく、モデルを実行、改変、再販できます。Kolibriは最大100万トークンのコンテキストウィンドウに対応しており、1回の処理で約75万語のテキストを扱えます。

KolibriはMixture-of-Experts型のトランスフォーマーです。このアーキテクチャでは、クエリごとにモデル全体を起動するのではなく、専門化されたサブネットワークの小規模な一部に処理を振り分けます。

総パラメーター数780億のうち、クエリごとに起動するのは30億だけです。この設計により、大規模な知識ベースを保ちながら、推論コストを低く抑えています。

Aleph Alphaによると、このモデルは行政、産業、航空宇宙分野における「主権が重要なミッションクリティカル業務」向けに調整されています。これらの分野では、欧州各国の政府は米国でホストされるAIインフラへの依存に慎重です。

こちらもお読みください：カリフォルニア州、AIだけでの採用判断を禁止するAI規制を承認

リリースを支えるパイプライン

KolibriはAleph Alphaにとって初の試みではありません。同社はまず、パラメーター数300億、コンテキストウィンドウ6万5000トークンの小型モデル「Kolibri Origin」を開発し、規模を拡大する前に学習パイプラインを検証しました。

先行モデルのおかげで、エンジニアは数百件のアブレーション実験を実施できました。これは、どの学習要素が実際に性能を高めるのかを切り分けて検証する実験です。また、ハードウェア障害が発生しても手動介入なしで事前学習を安定して実行できるようになりました。

Aleph Alphaは長年、自社をOpenAIやAnthropicに対する欧州の答えと位置づけてきました。政府や規制産業には、米国のハイパースケーラーから借りるのではなく、監査でき、国内でホストできるAIが必要だと主張しています。

同社は最近、Cohereと契約を締結し、自ら「初の大西洋横断型・主権AIサービス」と呼ぶものの構築に乗り出しました。この提携は、欧州とカナダの機関に最先端モデルの非米国系の選択肢を提供することを目指しています。

主権がもたらすもの、その代償

オープンウェイトでの公開が重要なのは、中規模の欧州AI研究所が、データの国内保管を約束するだけでなく、純粋な性能でも競争できるかを試すものだからです。

Kolibriの100万トークンのコンテキストウィンドウは、多くの商用競合製品と同等か、それを上回ります。しかしAleph Alphaは、米国の最先端モデルとの独立したベンチマーク比較を公表していません。規制産業の企業顧客は、ドイツで学習されたウェイトが、OpenAIやGoogleの学習予算による規模と引き換えにする価値があるかどうかを判断することになります。

次の記事：オープンウェイトのシェアが予想外に拡大、トークンの50％、支出の13％に