NVIDIA mengusulkan pendekatan terkoordinasi untuk desain memori AI seiring meningkatnya kebutuhan akan memori GPU, yang didorong oleh model yang lebih besar, jendela konteks yang lebih panjang, dan penggunaan agen AI yang semakin luas. Menurut Odaily, pendekatan ini mengoordinasikan GPU, CPU, jaringan, penyimpanan, dan perangkat lunak untuk meningkatkan efisiensi memori, alih-alih sekadar menambah kapasitas memori GPU.

Usulan ini menggunakan format presisi rendah NVFP4 untuk memampatkan bobot model dan cache KV, memindahkan konteks yang sementara tidak aktif ke penyimpanan berbiaya lebih rendah, serta memanfaatkan penerapan multi-GPU untuk mengosongkan HBM.

NVIDIA melaporkan bahwa dalam pengujian AgentX oleh SemiAnalysis, GB300 NVL72 menghasilkan throughput inferensi per unit biaya hingga 10 kali lipat dibandingkan platform H200 untuk beban kerja tertentu. Vera Rubin NVL72 menghasilkan throughput per unit biaya hingga 30 kali lipat dibandingkan GB300 NVL72, sekaligus meningkatkan kapasitas HBM per GPU sekitar 3%.