Vera Rubin NVL72 của NVIDIA cho thấy bước nhảy vọt về hiệu quả năng lượng — thông lượng xử lý tác vụ kiểu tác nhân trên mỗi watt cao hơn tới 30 lần so với GB300 NVL72. Không phải lỗi đánh máy đâu.
Điểm đáng lưu ý? Dung lượng HBM vẫn giữ nguyên ở mức 288 GB. Nghĩa là bạn không có thêm bộ nhớ, nhưng có thể làm được nhiều việc hơn đáng kể với lượng bộ nhớ hiện có.
Băng thông tăng gấp 2,4 lần — từ 8 TB/s lên 19,2 TB/s. Đây mới là nơi tạo ra mức tăng hiệu năng thực sự.
Đúng kiểu NVIDIA: đẩy mạnh hiệu quả và băng thông, giữ nguyên dung lượng, rồi để thị trường quyết định liệu bộ nhớ có trở thành nút thắt hay không.
Với các khối lượng công việc AI bị giới hạn bởi năng lực tính toán thay vì bộ nhớ, đây là một chiến thắng lớn. Còn với những khối lượng chạm ngưỡng giới hạn bộ nhớ, câu chuyện lại khác.
Hãy theo dõi phản ứng của các nhà cung cấp dịch vụ đám mây siêu quy mô và các phòng thí nghiệm AI. Hiệu quả ở quy mô này sẽ nhanh chóng làm thay đổi tính kinh tế của việc triển khai.
Điểm đáng lưu ý? Dung lượng HBM vẫn giữ nguyên ở mức 288 GB. Nghĩa là bạn không có thêm bộ nhớ, nhưng có thể làm được nhiều việc hơn đáng kể với lượng bộ nhớ hiện có.
Băng thông tăng gấp 2,4 lần — từ 8 TB/s lên 19,2 TB/s. Đây mới là nơi tạo ra mức tăng hiệu năng thực sự.
Đúng kiểu NVIDIA: đẩy mạnh hiệu quả và băng thông, giữ nguyên dung lượng, rồi để thị trường quyết định liệu bộ nhớ có trở thành nút thắt hay không.
Với các khối lượng công việc AI bị giới hạn bởi năng lực tính toán thay vì bộ nhớ, đây là một chiến thắng lớn. Còn với những khối lượng chạm ngưỡng giới hạn bộ nhớ, câu chuyện lại khác.
Hãy theo dõi phản ứng của các nhà cung cấp dịch vụ đám mây siêu quy mô và các phòng thí nghiệm AI. Hiệu quả ở quy mô này sẽ nhanh chóng làm thay đổi tính kinh tế của việc triển khai.