Googles TPUv7 (Ironwood) kann es bei Inferenzaufgaben inzwischen mit Nvidias B200- und GB300-Chips aufnehmen und übertrifft sie in manchen Fällen sogar – das zeigen die neuesten InferenceX-Benchmarks von SemiAnalysis.

Dabei handelt es sich um nächtliche Tests unter realen Bedingungen: Open-Source-Modelle, Workloads mit langem Kontext, agentische Aufgaben und die Kosten pro Token.

In FP8-Vergleichen liefert TPUv7 pro Dollar 1,2- bis 2,7-mal mehr Tokens als Nvidia-Chips. Bei manchen Konfigurationen ist die Leistung pro Dollar um 50 % höher. Der reine Durchsatz ist oft vergleichbar, doch Googles niedrigere Gesamtbetriebskosten – für Chip und System – verschaffen dem Unternehmen einen Vorteil. Bei bestimmten FP4-Workloads und stark optimierten Rack-Konfigurationen liegt Nvidia weiterhin vorn.

Der Abstand hat sich nicht wegen der Spitzenleistung in FLOPS verringert, sondern weil sich die TPUs in den Bereichen Silizium, Software (Unterstützung für TorchTPU, vLLM und SGLang) und Wirtschaftlichkeit verbessert haben. Die Leistung hängt weiterhin vom Modell, der Präzision und der Serving-Konfiguration ab – doch die Wettbewerbsbedingungen gleichen sich an.

Das ist für alle relevant, die die Ausgaben für KI-Infrastruktur, die Investitionsausgaben der Hyperscaler und die Margenstruktur der Inferenz im großen Maßstab verfolgen. Die Vorstellung, Nvidia beherrsche die Inferenz, gerät allmählich ins Wanken.

$NVDA $GOOGL