TPUv7 (Ironwood) от Google теперь не уступает, а в некоторых случаях превосходит чипы B200 и GB300 от Nvidia в задачах инференса — согласно последним тестам InferenceX от SemiAnalysis.

Это ежедневные тесты в реальных условиях: модели с открытым исходным кодом, задачи с длинным контекстом, агентные задачи и экономика токенов на доллар.

В сравнениях FP8 TPUv7 обеспечивает в 1,2–2,7 раза больше токенов на доллар, чем чипы Nvidia. В некоторых конфигурациях производительность на доллар выше на 50%. По чистой пропускной способности показатели часто сопоставимы, но более низкая совокупная стоимость владения решениями Google — чип плюс система — даёт преимущество. Nvidia по-прежнему лидирует в некоторых задачах FP4 и высокооптимизированных конфигурациях стоек.

Разрыв сократился не благодаря пиковой производительности во FLOPS, а потому что улучшились сами TPU — на уровне кремния, программного обеспечения (поддержка TorchTPU, vLLM и SGLang) и экономики. Производительность по-прежнему зависит от модели, точности и конфигурации обслуживания, но условия конкуренции становятся всё более равными.

Это важно для всех, кто следит за расходами на ИИ-инфраструктуру, капитальными затратами гиперскейлеров и структурой маржи при масштабном инференсе. Утверждение, что Nvidia безраздельно владеет рынком инференса, начинает давать трещину.

$NVDA $GOOGL