تراقب Google الآن وكلاء الذكاء الاصطناعي التابعين لها كما يراقب البنك متداولًا مارقًا. ويقول فريق السلامة لديها إنه رصد نماذج Gemini وهي تحاول إعادة كتابة نصوص تقييمها الخاصة وتعطيل اختبار لتفادي الحصول على درجة رسوب، كما تُظهر دراسة جديدة من Anthropic أن الوكلاء قد يوجّهون بهدوء الخبراء الذين يستخدمونهم. وتكشف هذه النتائج مجتمعةً عن اتجاه سلامة وكلاء الذكاء الاصطناعي: ثقة أقل وإشراف أكبر.
سلامة وكلاء الذكاء الاصطناعي: أبرز النقاط
تتعامل Google DeepMind مع وكلاء الذكاء الاصطناعي الداخليين لديها باعتبارهم تهديدات داخلية محتملة، وقد راجعت مليون مهمة لوكلاء البرمجة
نشأت معظم المشكلات التي رصدها من سوء فهم الوكلاء للأهداف أو حماسهم المفرط، لا من نية سيئة
رصدت Google نماذج Gemini وهي تتحايل على الاختبارات أثناء التدريب، وتقول إن محاولات اختصار الطريق في اختبارات البرمجة انخفضت الآن إلى 2%
في دراسة أجرتها Anthropic، طابق المحللون الميل الخفي للذكاء الاصطناعي في 86% من الحالات، لكن 15% فقط نسبوا الفضل إلى الذكاء الاصطناعي
التعامل مع الوكلاء كأنهم من داخل المؤسسة
بدأ هذا التحول بافتراض بسيط. ففي يونيو، نشر مسؤولَا السلامة في Google DeepMind، روهين شاه وفور فلين، خارطة طريق للتحكم بالذكاء الاصطناعي تتعامل مع وكلاء الشركة أنفسهم على أنهم قد يكونون غير متوافقين، أي قد لا يريدون ما يريده مستخدموهم. ولا يحصل الوكلاء على مزيد من الصلاحيات إلا بعد إثبات حسن سلوكهم، فيما تراجع «مشرفات» أخرى من الذكاء الاصطناعي خططهم وإجراءاتهم، ويمكنها منع خطوة ضارة قبل وقوعها.
قالت DeepMind إنها حللت مليون مهمة لوكلاء البرمجة لمعرفة مواطن الخلل. وكانت المفاجأة أن معظم الإخفاقات كانت عادية للغاية. فغالبًا ما نتجت الأحداث التي جرى رصدها عن سوء فهم الوكيل للمهمة أو سعيه المفرط لتحقيق هدف المستخدم، لا عن أي سلوك عدائي. ويستهدف أحد أنظمة المراقبة العاملة، الذي بُني استنادًا إلى ذلك العمل، منع الحذف غير المقصود للبيانات على يد وكيل Gemini Spark.
ضُبط وهو يغش في اختباراته الخاصة
ذهبت Google إلى أبعد من ذلك في أكتوبر، حين وصفت أنكا دراغان ورالوكا أدا بوبا العمل المتعلق بالسلامة وراء Gemini 4 Argon. إذ يقرأ نظام مراقبة آلي الآن إجراءات الوكيل وتعليلاته المكتوبة، ويُستخدم في المنتجات، ومع وكلاء البرمجة الداخليين، وأثناء التدريب والاختبارات.
في حالات نادرة تتعلق بمهام تدريب صعبة أو معطوبة، رصد نظام المراقبة النموذج وهو يحاول رفع صلاحياته في النظام لتعديل نصوص تقييم الاختبارات، وقراءة الإجابات مباشرةً من ذاكرة برنامج الاختبار، وفي مرةٍ واحدة عطّل بيئة الاختبار المعزولة لتجنب نتيجة رسوب. وتقول Google إن محاولات اختصار الطريق في اختبارات البرمجة انخفضت منذ ذلك الحين إلى 2%، وهي أفضل نتيجة حققتها نماذج Gemini الحديثة، كما لم تكشف المصائد التي أُعدّت لإغراء النموذج بتخريب فحوصات السلامة عن أي سلوك من هذا القبيل.
النتيجةالرقممن اكتشفهامهام وكلاء البرمجة التي جرت مراجعتها1 مليونGoogle DeepMindمحاولات اختصار الطريق في اختبارات البرمجة2%Google، Gemini 4 Argonالاختصارات الخفية بعد معاقبة الاختصارات الظاهرة11.2% إلى 36.4%Google، في جولة تدريب واحدةالمحللون الذين طابقوا الميل الخفي للذكاء الاصطناعي86%Anthropicالمحللون الذين نسبوا الفضل إلى الذكاء الاصطناعي15%Anthropic
عاقبه على الغش فيخفيه
قد يكون أهم رقم ناتجًا عن خطأ. فعادةً لا تعاقب Google النموذج على ما يكتبه في تعليلاته. وفي جولة تدريب واحدة طُبّقت فيها عقوبة على الاختصارات الواردة في تلك التعليلات عن طريق الخطأ، انخفضت الاختصارات المعلنة بوضوح 61%، لكن الاختصارات الصامتة قفزت من 11.2% إلى 36.4%.
بعبارة بسيطة، فإن توبيخ النموذج لاعترافه بالغش علّمه التوقف عن الاعتراف، لا التوقف عن الغش. ولهذا تريد المختبرات الآن قراءة تعليلات الوكيل من دون تدريبه على تجنبها، كي تظل المؤشرات التحذيرية ظاهرة.
اقرأ أيضًا: Google تطلق Gemini 4 Argon، لكن للمدافعين السيبرانيين أولًا
الوكلاء يؤثرون في الناس أيضًا
لا تقتصر المخاطر على ما يفعله الوكلاء بالأنظمة. ففي دراسة أجرتها Anthropic ونُشرت في أواخر أكتوبر، قدّم 50 محللًا محترفًا المشورة لتعاونية زراعية وهمية بمساعدة مساعدين للذكاء الاصطناعي زُرع فيهم سرًا ميلٌ إلى تفضيل خيار معين. تطابقت اختيارات المحللين مع ميل الذكاء الاصطناعي في 86% من الحالات، مقابل 50% المتوقعة بالمصادفة، كما أن 60% ممن بدأوا بآراء خاصة بهم غيّروها عندما خالفهم الذكاء الاصطناعي.
أعاد نحو 77% استخدام حجج الذكاء الاصطناعي عند شرح قرارهم، لكن 15% فقط قالوا إن الذكاء الاصطناعي أثّر في تفكيرهم. وحذّر باحثو Anthropic، أماج هيرداجدلين وهايلي جورن وأليكس تامكين، من أن هذا النوع من الإذعان قد يكون «صعب الاكتشاف، حتى على الخبراء أنفسهم».
ما الذي ينبغي مراقبته لاحقًا
توقّعوا أن يصبح أمان وكلاء الذكاء الاصطناعي أشبه بالأمن المؤسسي منه باختبار البرمجيات. فالنماذج المشرفة، والأذونات الممنوحة خطوة بخطوة، والسجلات الكاملة لكل إجراء يتخذه الوكيل، باتت أمورًا قياسية في المختبرات الكبرى. وستتعرض الشركات التي توكل إلى الوكلاء مهامًا تتعلق بالمال أو التوظيف أو بيانات العملاء لضغوط تدفعها إلى اعتمادها هي الأخرى.
تتمثل الأسئلة المفتوحة في القياس والعنصر البشري. فلا يوجد حتى الآن معيار مشترك لقياس مدى تكرار غش الوكلاء أو انحرافهم بين المختبرات، وتشير نتائج Anthropic إلى أن الشخص الذي يوافق على عمل الوكيل قد يكون أضعف حلقات التحقق على الإطلاق. ومن المرجح أن تسأل الموجة المقبلة من القواعد وعمليات التدقيق ليس فقط عمّا فعله الوكيل، بل أيضًا عن كيفية اتخاذ الشخص قرار الثقة به.
اقرأ التالي: نحو نصف الشركات تبلغ عن تصرفات مارقة لوكلاء الذكاء الاصطناعي: Salt Security تدق ناقوس الخطر