SemiAnalysisの最新のInferenceXベンチマークによると、GoogleのTPUv7(Ironwood)は推論タスクでNvidiaのB200およびGB300チップに匹敵し、一部では上回るようになっています。
これは、オープンソースモデル、長いコンテキストを扱うワークロード、エージェント型タスク、トークンあたりのコストを対象にした、夜間に実施される実環境テストです。
FP8の比較では、TPUv7はNvidia製品よりもドルあたり1.2倍から2.7倍多くのトークンを処理します。一部の構成では、ドルあたりの性能が50%向上しています。生のスループットは同程度であることが多いものの、チップとシステムを含むGoogleの総所有コストの低さが優位性を生んでいます。一方、特定のFP4ワークロードや高度に最適化されたラック構成では、依然としてNvidiaがリードしています。
この差が縮まったのは、ピークFLOPSによるものではなく、シリコン、ソフトウェア(TorchTPU、vLLM、SGLangのサポート)、経済性の各面でTPUが進歩したためです。性能は依然としてモデル、精度、サービング構成によって異なりますが、競争条件は均衡しつつあります。
これは、AIインフラへの支出、ハイパースケーラーの設備投資、そして大規模推論の利益構造を追う人にとって重要な動きです。Nvidiaが推論を独占しているという見方に、ほころびが生じ始めています。
$NVDA $GOOGL
これは、オープンソースモデル、長いコンテキストを扱うワークロード、エージェント型タスク、トークンあたりのコストを対象にした、夜間に実施される実環境テストです。
FP8の比較では、TPUv7はNvidia製品よりもドルあたり1.2倍から2.7倍多くのトークンを処理します。一部の構成では、ドルあたりの性能が50%向上しています。生のスループットは同程度であることが多いものの、チップとシステムを含むGoogleの総所有コストの低さが優位性を生んでいます。一方、特定のFP4ワークロードや高度に最適化されたラック構成では、依然としてNvidiaがリードしています。
この差が縮まったのは、ピークFLOPSによるものではなく、シリコン、ソフトウェア(TorchTPU、vLLM、SGLangのサポート)、経済性の各面でTPUが進歩したためです。性能は依然としてモデル、精度、サービング構成によって異なりますが、競争条件は均衡しつつあります。
これは、AIインフラへの支出、ハイパースケーラーの設備投資、そして大規模推論の利益構造を追う人にとって重要な動きです。Nvidiaが推論を独占しているという見方に、ほころびが生じ始めています。
$NVDA $GOOGL