NVIDIA đã đề xuất một phương pháp phối hợp để thiết kế bộ nhớ AI, trong bối cảnh nhu cầu về bộ nhớ GPU tăng lên cùng với các mô hình lớn hơn, cửa sổ ngữ cảnh dài hơn và việc sử dụng tác nhân AI rộng rãi hơn. Theo Odaily, phương pháp này phối hợp GPU, CPU, mạng, bộ nhớ lưu trữ và phần mềm nhằm cải thiện hiệu quả sử dụng bộ nhớ, thay vì chỉ đơn giản tăng dung lượng bộ nhớ GPU.

Đề xuất này sử dụng định dạng độ chính xác thấp NVFP4 để nén trọng số mô hình và bộ nhớ đệm KV, chuyển ngữ cảnh tạm thời không hoạt động sang bộ nhớ lưu trữ có chi phí thấp hơn, đồng thời triển khai nhiều GPU để giải phóng HBM.

NVIDIA cho biết trong các bài kiểm tra AgentX của SemiAnalysis, GB300 NVL72 đạt thông lượng suy luận trên mỗi đơn vị chi phí cao gấp tới 10 lần nền tảng H200 trong một số tác vụ nhất định. Vera Rubin NVL72 đạt thông lượng trên mỗi đơn vị chi phí cao gấp tới 30 lần GB300 NVL72, đồng thời tăng khoảng 3% dung lượng HBM trên mỗi GPU.