TPUv7 (Ironwood) milik Google kini mampu menyamai—dan dalam beberapa kasus mengungguli—chip B200 dan GB300 Nvidia untuk tugas inferensi, menurut benchmark InferenceX terbaru dari SemiAnalysis.
Ini adalah pengujian malam hari di kondisi nyata: model sumber terbuka, beban kerja dengan konteks panjang, tugas agentik, serta efisiensi token per dolar.
Dalam perbandingan FP8, TPUv7 menghasilkan 1,2× hingga 2,7× lebih banyak token per dolar dibandingkan chip Nvidia. Dalam beberapa konfigurasi, performa per dolar meningkat 50%. Throughput mentah sering kali sebanding, tetapi total biaya kepemilikan Google yang lebih rendah—chip plus sistem—memberinya keunggulan. Nvidia masih unggul pada beban kerja FP4 tertentu dan konfigurasi rak yang sangat dioptimalkan.
Kesenjangan ini menyempit bukan karena FLOPS puncak, melainkan karena TPU telah berkembang di berbagai aspek: silikon, perangkat lunak (dukungan TorchTPU, vLLM, SGLang), dan efisiensi biaya. Performa tetap bergantung pada model, presisi, dan konfigurasi penyajian—tetapi persaingan semakin seimbang.
Hal ini penting bagi siapa pun yang memantau belanja infrastruktur AI, belanja modal hyperscaler, dan struktur margin inferensi dalam skala besar. Narasi bahwa Nvidia menguasai inferensi mulai goyah.
$NVDA $GOOGL
Ini adalah pengujian malam hari di kondisi nyata: model sumber terbuka, beban kerja dengan konteks panjang, tugas agentik, serta efisiensi token per dolar.
Dalam perbandingan FP8, TPUv7 menghasilkan 1,2× hingga 2,7× lebih banyak token per dolar dibandingkan chip Nvidia. Dalam beberapa konfigurasi, performa per dolar meningkat 50%. Throughput mentah sering kali sebanding, tetapi total biaya kepemilikan Google yang lebih rendah—chip plus sistem—memberinya keunggulan. Nvidia masih unggul pada beban kerja FP4 tertentu dan konfigurasi rak yang sangat dioptimalkan.
Kesenjangan ini menyempit bukan karena FLOPS puncak, melainkan karena TPU telah berkembang di berbagai aspek: silikon, perangkat lunak (dukungan TorchTPU, vLLM, SGLang), dan efisiensi biaya. Performa tetap bergantung pada model, presisi, dan konfigurasi penyajian—tetapi persaingan semakin seimbang.
Hal ini penting bagi siapa pun yang memantau belanja infrastruktur AI, belanja modal hyperscaler, dan struktur margin inferensi dalam skala besar. Narasi bahwa Nvidia menguasai inferensi mulai goyah.
$NVDA $GOOGL