اقترحت NVIDIA نهجًا منسقًا لتصميم ذاكرة الذكاء الاصطناعي، في ظل تزايد الطلب على ذاكرة وحدات معالجة الرسومات بالتزامن مع النماذج الأكبر ونوافذ السياق الأطول والاستخدام الأوسع لوكلاء الذكاء الاصطناعي. ووفقًا لـ Odaily، ينسق هذا النهج بين وحدات معالجة الرسومات ووحدات المعالجة المركزية والشبكات والتخزين والبرمجيات لتحسين كفاءة الذاكرة بدلًا من مجرد زيادة سعة ذاكرة وحدات معالجة الرسومات.

يستخدم المقترح تنسيق NVFP4 منخفض الدقة لضغط أوزان النماذج وذاكرة التخزين المؤقت KV، وينقل السياق غير النشط مؤقتًا إلى وحدات تخزين أقل تكلفة، ويستعين بعمليات نشر متعددة لوحدات معالجة الرسومات لتوفير مساحة في ذاكرة HBM.

أفادت NVIDIA بأن GB300 NVL72 حقق في اختبارات AgentX من SemiAnalysis معدل إنتاجية استدلالية لكل وحدة تكلفة يصل إلى 10 أضعاف ما حققته منصة H200 في بعض أعباء العمل. وحقق Vera Rubin NVL72 معدل إنتاجية لكل وحدة تكلفة يصل إلى 30 ضعف ما حققه GB300 NVL72، مع زيادة سعة HBM لكل وحدة GPU بنحو 3%.