TPU v7 (Ironwood) của Google hiện đang bắt kịp—and trong một số trường hợp còn vượt qua—các chip B200 và GB300 của Nvidia trong những tác vụ suy luận, theo các bài kiểm tra InferenceX mới nhất của SemiAnalysis.
Đây là các bài kiểm tra hằng đêm trong điều kiện thực tế: mô hình mã nguồn mở, tác vụ có ngữ cảnh dài, tác vụ dạng tác nhân và hiệu quả chi phí tính theo số token trên mỗi đô la.
Trong các so sánh FP8, TPU v7 tạo ra số token trên mỗi đô la cao hơn từ 1,2× đến 2,7× so với chip Nvidia. Trong một số cấu hình, hiệu năng trên mỗi đô la tăng 50%. Thông lượng thuần thường tương đương, nhưng tổng chi phí sở hữu thấp hơn của Google—bao gồm chip và hệ thống—tạo nên lợi thế. Nvidia vẫn dẫn đầu ở một số tác vụ FP4 và các cấu hình giá đỡ được tối ưu hóa cao.
Khoảng cách được thu hẹp không phải nhờ FLOPs đỉnh cao, mà vì TPU đã được cải thiện trên nhiều phương diện: silicon, phần mềm (hỗ trợ TorchTPU, vLLM, SGLang) và hiệu quả kinh tế. Hiệu năng vẫn phụ thuộc vào mô hình, độ chính xác và cấu hình phục vụ—nhưng sân chơi đang dần cân bằng.
Điều này quan trọng với bất kỳ ai theo dõi chi tiêu cho hạ tầng AI, chi tiêu vốn của các nhà cung cấp dịch vụ đám mây quy mô lớn và cơ cấu biên lợi nhuận của hoạt động suy luận ở quy mô lớn. Câu chuyện cho rằng Nvidia thống trị mảng suy luận đang bắt đầu rạn nứt.
$NVDA $GOOGL
Đây là các bài kiểm tra hằng đêm trong điều kiện thực tế: mô hình mã nguồn mở, tác vụ có ngữ cảnh dài, tác vụ dạng tác nhân và hiệu quả chi phí tính theo số token trên mỗi đô la.
Trong các so sánh FP8, TPU v7 tạo ra số token trên mỗi đô la cao hơn từ 1,2× đến 2,7× so với chip Nvidia. Trong một số cấu hình, hiệu năng trên mỗi đô la tăng 50%. Thông lượng thuần thường tương đương, nhưng tổng chi phí sở hữu thấp hơn của Google—bao gồm chip và hệ thống—tạo nên lợi thế. Nvidia vẫn dẫn đầu ở một số tác vụ FP4 và các cấu hình giá đỡ được tối ưu hóa cao.
Khoảng cách được thu hẹp không phải nhờ FLOPs đỉnh cao, mà vì TPU đã được cải thiện trên nhiều phương diện: silicon, phần mềm (hỗ trợ TorchTPU, vLLM, SGLang) và hiệu quả kinh tế. Hiệu năng vẫn phụ thuộc vào mô hình, độ chính xác và cấu hình phục vụ—nhưng sân chơi đang dần cân bằng.
Điều này quan trọng với bất kỳ ai theo dõi chi tiêu cho hạ tầng AI, chi tiêu vốn của các nhà cung cấp dịch vụ đám mây quy mô lớn và cơ cấu biên lợi nhuận của hoạt động suy luận ở quy mô lớn. Câu chuyện cho rằng Nvidia thống trị mảng suy luận đang bắt đầu rạn nứt.
$NVDA $GOOGL