Le TPUv7 (Ironwood) de Google rivalise désormais — et, dans certains cas, surpasse — les puces B200 et GB300 de Nvidia pour les tâches d’inférence, selon les derniers benchmarks InferenceX de SemiAnalysis.
Il s’agit de tests nocturnes en conditions réelles : modèles open source, charges de travail à long contexte, tâches agentiques et coût par jeton.
Dans les comparaisons FP8, le TPUv7 génère de 1,2 à 2,7 fois plus de jetons par dollar que les composants Nvidia. Dans certaines configurations, le rapport performances-prix augmente de 50 %. Le débit brut est souvent comparable, mais le coût total de possession inférieur de Google — puce et système compris — lui donne l’avantage. Nvidia reste en tête sur certaines charges de travail FP4 et dans les configurations en rack hautement optimisées.
L’écart s’est réduit non pas grâce aux FLOPS de pointe, mais parce que les TPU ont progressé sur les plans du silicium, des logiciels (prise en charge de TorchTPU, vLLM et SGLang) et des coûts. Les performances dépendent toujours du modèle, de la précision et de la configuration de service, mais le terrain de jeu s’égalise.
C’est important pour tous ceux qui suivent les dépenses en infrastructures d’IA, les investissements des hyperscalers et la structure des marges liées à l’inférence à grande échelle. Le discours selon lequel Nvidia domine l’inférence commence à se fissurer.
$NVDA $GOOGL
Il s’agit de tests nocturnes en conditions réelles : modèles open source, charges de travail à long contexte, tâches agentiques et coût par jeton.
Dans les comparaisons FP8, le TPUv7 génère de 1,2 à 2,7 fois plus de jetons par dollar que les composants Nvidia. Dans certaines configurations, le rapport performances-prix augmente de 50 %. Le débit brut est souvent comparable, mais le coût total de possession inférieur de Google — puce et système compris — lui donne l’avantage. Nvidia reste en tête sur certaines charges de travail FP4 et dans les configurations en rack hautement optimisées.
L’écart s’est réduit non pas grâce aux FLOPS de pointe, mais parce que les TPU ont progressé sur les plans du silicium, des logiciels (prise en charge de TorchTPU, vLLM et SGLang) et des coûts. Les performances dépendent toujours du modèle, de la précision et de la configuration de service, mais le terrain de jeu s’égalise.
C’est important pour tous ceux qui suivent les dépenses en infrastructures d’IA, les investissements des hyperscalers et la structure des marges liées à l’inférence à grande échelle. Le discours selon lequel Nvidia domine l’inférence commence à se fissurer.
$NVDA $GOOGL