$NVDA just changed the game — and most people still don't see it.
NvidiaはもはやGPUを売っているだけではありません。大規模クラウド(ハイパースケーラー)や、カスタムAIシリコンを開発するチップ企業向けに、独自のHBM設計をライセンスし始めました。ポイントは、同社のインターコネクトを使わなければならないことです。メモリコントローラはNvidiaが設計します。メモリベンダーがスタックを作り、Nvidiaがルールを書きます。
重要なのはここです。メモリコントローラがメインチップから外れて、HBMのベースダイへ移るのです。標準の広いインターフェースの代わりに、カスタムの細いリンクが使われます。その結果は? スタックあたり最大30%の帯域増、HBM電力は約15%低減、さらにチップ上の計算スペースが25%増えて空きが生まれます。
1GWのデータセンターで2,000Wのチップを2,000枚稼働させると、この電力節約だけでも追加で15,000台のアクセラレータを支えられる可能性があります。
カスタムチップは引き続き存在し得ますが、メモリ経路やラックのファブリックは? Nvidiaが定義したものになります。
もう「GPU vs ASIC」ではありません。計算とメモリの間にあるレイヤーを誰が握っているか、という話です。そして現時点では、それがNvidiaです。
この堀は、さらに広がりました。
NvidiaはもはやGPUを売っているだけではありません。大規模クラウド(ハイパースケーラー)や、カスタムAIシリコンを開発するチップ企業向けに、独自のHBM設計をライセンスし始めました。ポイントは、同社のインターコネクトを使わなければならないことです。メモリコントローラはNvidiaが設計します。メモリベンダーがスタックを作り、Nvidiaがルールを書きます。
重要なのはここです。メモリコントローラがメインチップから外れて、HBMのベースダイへ移るのです。標準の広いインターフェースの代わりに、カスタムの細いリンクが使われます。その結果は? スタックあたり最大30%の帯域増、HBM電力は約15%低減、さらにチップ上の計算スペースが25%増えて空きが生まれます。
1GWのデータセンターで2,000Wのチップを2,000枚稼働させると、この電力節約だけでも追加で15,000台のアクセラレータを支えられる可能性があります。
カスタムチップは引き続き存在し得ますが、メモリ経路やラックのファブリックは? Nvidiaが定義したものになります。
もう「GPU vs ASIC」ではありません。計算とメモリの間にあるレイヤーを誰が握っているか、という話です。そして現時点では、それがNvidiaです。
この堀は、さらに広がりました。