حققت ذاكرة الوكلاء نتيجة قياسية جديدة يوم الأحد، بعد أن ذكرت ورقة بحثية جديدة أن 16 رمزًا للذاكرة تفوقت على الاستدلال باستخدام السياق الكامل في FactKG، وهو معيار للاستدلال الواقعي يُستخدم لاختبار الأنظمة التي تعتمد بكثافة على الاسترجاع.
أبرز النقاط
أظهرت الورقة التي شاركها omarsar0 أن 16 رمزًا للذاكرة تفوقت على الاستدلال باستخدام السياق الكامل في FactKG
تتمحور الورقة حول الذاكرة الدلالية الكامنة لنماذج اللغة الكبيرة
غالبًا ما تتضمن أنظمة الوكلاء نصوص المحادثات السابقة ومخرجات الأدوات والوثائق المسترجعة في كل موجّه جديد، ما يرفع التكلفة ويبطئ الاستدلال
تقلل حالة صغيرة متعلَّمة، مثل 16 رمزًا، عدد الرموز لكل عملية استدلال، وقد تخفض عمليات الفاصلة العائمة لكل ثانية (FLOPs) اللازمة لمعالجة المطالبة وعرض النطاق الترددي المطلوب للمسرّع
تتمحور الورقة البحثية حول الذاكرة الدلالية الكامنة للنماذج اللغوية الكبيرة، وتكمن أهمية هذا الادعاء في أن الحالة المستمرة أصبحت أحد العوائق الرئيسية أمام منتجات الذكاء الاصطناعي التي تحتاج إلى الاحتفاظ بالمعلومات عبر جلسات طويلة.
ذاكرة الوكلاء تسعى إلى الاستغناء عن حشو المطالبات بلا نهاية
تواصل معظم أنظمة الوكلاء سحب سجلات المحادثات القديمة ومخرجات الأدوات والمستندات المسترجعة وإضافتها مجددًا إلى كل مطالبة جديدة.
وهذا يرفع التكلفة ويبطئ الاستدلال، لأن على النموذج معالجة النص نفسه مرارًا وتكرارًا.
لهذا يحظى هذا المسار البحثي باهتمام المطورين. فإذا أمكن ضغط المعلومات المفيدة في حالة صغيرة متعلَّمة، فقد تجيب النماذج باستخدام سياق أقل وإنفاق أقل على الرموز.
الادعاء الوارد في المنشور محدود النطاق، لكنه مفيد.
تفوقت 16 من رموز الذاكرة على الاستدلال باستخدام السياق الكامل في FactKG. وإذا أمكن تعميم هذه النتيجة، فقد لا يحتاج بعض المطورين إلى استدعاء المعلومات بالقوة عبر إعادة إرسال سجل الجلسة كاملًا.
من النوافذ الأكبر إلى الحالات المتعلَّمة الأصغر
مال تصميم منتجات الذكاء الاصطناعي خلال العام الماضي إلى تفضيل نوافذ السياق الأكبر.
روّجت المختبرات للنوافذ الأكبر بوصفها حلًا لمشكلة استدعاء المعلومات، وقد نجح ذلك في بعض المهام.
تتناول هذه التقنية المشكلة نفسها من زاوية مختلفة. فبدلًا من تزويد النموذج بكل التفاصيل السابقة، يتعلم النظام تمثيلًا مضغوطًا لما يهم.
وهذا يجعل النهج أقرب إلى الضغط المتعلَّم منه إلى التخزين.
لا يعيد النموذج قراءة سجل المحادثة، بل يستخدم كيانًا متعلَّمًا ينوب عن المعلومات السابقة.
يأتي البحث بعد أن أصبحت مشكلة استدعاء المعلومات مشكلةً تواجه المنتجات
يتوافق هذا التوقيت مع تحول أوسع في الوكلاء.
تنتقل الفرق من المساعدين ذوي الدور الواحد إلى أنظمة تعمل عبر جلسات متعددة، وتعود إلى المهام، وتتتبع التفضيلات بمرور الوقت.
اقرأ أيضًا: GPT-6 Astra يتأخر عن البشر بـ21.6 نقطة في اختبار جديد للتحقق ثلاثي الأبعاد
وهذا يجعل تصميم الذاكرة جزءًا من بنية المنتج، لا مجرد موضوع بحثي. فكل من وكلاء البرمجة ومساعدي المؤسسات وروبوتات الدعم يواجه المشكلة نفسها حين يحتاج إلى الحفاظ على استمرارية السياق.
قد تساعد نافذة السياق الأكبر، لكنها تزيد أيضًا تكلفة الحوسبة وترفع احتمال أن يزاحم النص غير ذي الصلة المعلومات المفيدة ويطغى عليها.
يهدف هذا النهج إلى تقليل هذا الهدر.
كيف يضغط الماضي
في هذه الأنظمة، لا يعيد النموذج قراءة كل جملة سابقة. بل يعلّم التدريب الشبكة أن تكتب جزءًا من الماضي في مجموعة ثابتة من الرموز المتعلَّمة.
تظهر هذه الرموز في المطالبة التالية كملخص كثيف تعلّم النموذج تفسيره. وفي النتيجة التي نُشرت يوم الأحد، تفوقت 16 من رموز الذاكرة على الاستدلال باستخدام السياق الكامل في FactKG، ما يشير إلى أن الطول الخام لا يعادل القدرة على استدعاء المعلومات المفيدة.
وهذا مهم لفرق المنتجات في شركات مثل OpenAI وAnthropic التي تطور مساعدين يحتفظون بالسياق.
قد يحتاج وكيل الدعم إلى معلومات عن الحساب، ومخرجات الأدوات السابقة، وتفضيلات المستخدم التي جرى التحقق منها عبر محادثات عديدة. يضمن التلقين باستخدام السياق الكامل بقاء كل ذلك ظاهرًا، لكنه يجعل كل خطوة أكثر تكلفة أيضًا.
تستبدل رموز الذاكرة طول سجل المحادثة بالضغط.
الاختبار التالي هو قابلية النقل. إذا نجح النهج نفسه في البرمجة والتصفح وسير العمل المؤسسي، فقد تنتقل التقنية من نتيجة بحثية منشورة إلى تصميم افتراضي للأنظمة.
تحدد القيود المادية مدى قابلية هذه الحيلة للتوسع. فحالة صغيرة متعلَّمة، مثل 16 رمزًا، تقلل عدد الرموز لكل عملية استدلال بدرجة كبيرة، ما يخفض مباشرةً عرض النطاق الترددي المطلوب للمسرّع ويقلل عمليات الفاصلة العائمة لكل ثانية (FLOPs) اللازمة لمعالجة المطالبة.
يساعد ذلك على خفض زمن الاستجابة، وقد يقلل تكلفة كل وحدة من الاستدلال، شرط أن يحافظ الضغط فعليًا على المعلومات المهمة.
لكن السعة والإمدادات مهمتان. فلا يمكن لعدد قليل من الرموز ترميز سوى قدر محدود من المعلومات، وإذا كنت تحتاج إلى استدعاء دقيق للمعلومات عبر جلسات طويلة ومتنوعة، فقد تبلغ الحالة المضغوطة حدّها بسرعة، ما يفرض عمليات كتابة متكررة أو الاستعانة باسترجاع إضافي.
وهذا يزيد التعقيد الهندسي، وقد ينقل جزءًا من الحوسبة من التمريرة الأمامية للنموذج إلى الصيانة والفهرسة في الخلفية.
كما أن الطاقة والإنتاجية تصبان في مصلحة الضغط. فعدد أقل من الرموز لكل استعلام يقلل حركة الذاكرة وتكلفة دالة softmax في المحولات الكبيرة، ما يحسن كفاءة الطاقة لكل قرار.
ومع ذلك، إذا استبدلت الفرق رموز المطالبة بقدر أكبر من الحوسبة أثناء التدريب أو حوسبة وحدة التحكم، فقد تكون الوفورات الصافية أقل مما توحي به الأرقام الرئيسية.
أخيرًا، عندما تتباين خطط المنتجات عن الإنفاق الرأسمالي، راهن على العتاد. فإذا كانت شركة تضخ الميزانية في نوافذ سياق أكبر ومسرّعات باهظة الثمن، فستتوسع أعمالها أولًا عبر السعة التي تستطيع شراءها.
تبدو الحالة المتعلَّمة والمضغوطة جذابة على الورق، لكن القطاع سيتبناها بوتيرة أسرع عندما تثبت أنها تخفض تكلفة الاستدلال في أحمال العمل الفعلية، لا في اختبار معياري فحسب.
اقرأ التالي: وكلاء البرمجة من Tencent يقتربون من مضاعفة إنجاز المهام إلى 72.7% من دون تدخل بشري