Microsoftは、16,000基のGB200 GPUを使い、38日間かけて2.8兆パラメータのMoEモデル「MAI-Base-2」を学習させました。オープンウェイトは公開されていません。

最先端AIの本当の障壁はモデルのアーキテクチャではなく、学習インフラです。大規模なGPUクラスターなしに、これを再現することはできません。

コンシューマー向けハードウェアを使った分散学習が、突破口になるかもしれません。数千台のコンシューマー向けGPUを連携させて、この規模のモデルを学習させることを想像してみてください。それこそ、私たちが打ち破るべきインフラの堀です。