Zhipu AIの次期基盤モデルは、2.5兆〜3.5兆のパラメーターを持ち、Claude Fable級の性能に達する可能性があると報じられています。ChainCatcherによると、Beating AIが引用したこの情報は、投資コミュニティ内で出回っている専門家へのインタビュー記録に基づくものです。記録によれば、このモデルは以前うわさされていた1.6兆パラメーターを上回る規模です。

今年8月にリリースされたZhipuのGLM-5.3は、前世代の基盤モデルを採用しており、パラメーター数は約7,440億です。報じられた数値が正しければ、次期モデルの規模は約3.4〜4.7倍になります。

メモによると、Zhipuがより大胆なアーキテクチャを採用した後、学習は困難に直面している。事前学習では、計算資源への投資を続けていたにもかかわらず、損失の低下が止まったと報じられている。インタビュー対象者は、この問題は最近解決した可能性が高いと考えており、学習はまもなく完了するとの見通しを示した。また、このモデルはClaude Fableと同等の最先端の性能に達する可能性があると述べた。

新しいモデルのアーキテクチャは、推論速度とコストを厳格な制約条件として設計されており、サービス開始初日から大規模な提供を実現することを目指している。メモによると、需要が供給可能量を上回るリスクに対処するため、複数のクラウドプロバイダーが収益分配の取り決めについて協議しているという。