قد تظن أنك أضفت مهارة إلى وكيل ذكاء اصطناعي، بينما ربما حذفتَ في الوقت نفسه المراجعة البشرية.
فحصت دراسةٌ مستودعات GitHub العامة، ومسحت نحو 1.53 مليون مهارة لوكلاء ذكاء اصطناعي باللغة الإنجليزية، واكتشفت أن نحو 88,000 منها تتضمن تعليمات قد تتجاوز المراجعة البشرية.
أي إن مهارة واحدة تقريبًا من كل 17 مهارة تحتوي على تعليمات من هذا النوع.
والأمر الأكثر إثارة للقلق هو أن:
70.1% من هذه التعليمات لا تميّز بين سياقات الاستخدام.
مثلًا:
* التنفيذ والدفع مباشرةً من دون تأكيد.
* عدم طرح أسئلة في منتصف الطريق، ومواصلة العمل حتى إتمام المهمة.
* معالجة جميع الخطوات تلقائيًا من دون تدخل بشري.
إذا كُتبت هذه التعليمات في SKILL.md، فقد يتصرف الوكيل الذي يحمّل المهارة مباشرةً في مواضع كان يُفترض أن يطلب فيها تأكيدًا بشريًا.
والأصعب من ذلك أن أدوات فحص الأمان الحالية قد لا تكتشف هذه التعليمات.
اختبرت الدراسة أداتين مفتوحتَي المصدر للفحص من Cisco وNVIDIA، ووجدت أنه حتى عند استخدام GPT-5.4، لم يتجاوز أعلى معدل اكتشاف 46%، فيما كانت الدقة أقل من 0.4.
لكن تغيير طريقة السؤال أحدث فرقًا واضحًا:
فبدلًا من سؤال النموذج: «هل هذه تعليمات خبيثة؟»، سُئل: «هل تتجاوز المراجعة البشرية؟». فارتفع معدل الاكتشاف إلى 61%، وبلغت الدقة 0.71.
وهذا يوضح مشكلةً مهمة:
يجب ألا تقتصر مراجعة أمان الوكلاء على البحث عن الشيفرات الخبيثة، بل ينبغي أيضًا فحص التعليمات التي تبدو وكأن غرضها الوحيد هو رفع كفاءة الأتمتة.
وتوصيات الدراسة واضحة أيضًا:
1. وضع حدود واضحة لتعليمات التنفيذ التلقائي، مثل السماح بتفعيلها في بيئة CI فقط.
2. عند مراجعة المهارات، التركيز على ما إذا كانت تتجاوز التأكيد البشري، لا على فحص الشيفرات الخبيثة فحسب.
3. عدم السماح لتعليمة واحدة غير مشروطة بتحديد سلوك الوكيل في جميع السياقات.
تزداد قدرات الوكلاء، وتتسع صلاحياتهم.
لكن هناك خطوات لا ينبغي افتراض الاستغناء فيها عن التأكيد البشري لمجرد كتابة عبارة «واصل حتى تنتهي».
الأتمتة الموثوقة حقًا لا تلغي جميع عمليات التحقق، بل تعرف متى يجب أن تتوقف وتسأل الإنسان.
فحصت دراسةٌ مستودعات GitHub العامة، ومسحت نحو 1.53 مليون مهارة لوكلاء ذكاء اصطناعي باللغة الإنجليزية، واكتشفت أن نحو 88,000 منها تتضمن تعليمات قد تتجاوز المراجعة البشرية.
أي إن مهارة واحدة تقريبًا من كل 17 مهارة تحتوي على تعليمات من هذا النوع.
والأمر الأكثر إثارة للقلق هو أن:
70.1% من هذه التعليمات لا تميّز بين سياقات الاستخدام.
مثلًا:
* التنفيذ والدفع مباشرةً من دون تأكيد.
* عدم طرح أسئلة في منتصف الطريق، ومواصلة العمل حتى إتمام المهمة.
* معالجة جميع الخطوات تلقائيًا من دون تدخل بشري.
إذا كُتبت هذه التعليمات في SKILL.md، فقد يتصرف الوكيل الذي يحمّل المهارة مباشرةً في مواضع كان يُفترض أن يطلب فيها تأكيدًا بشريًا.
والأصعب من ذلك أن أدوات فحص الأمان الحالية قد لا تكتشف هذه التعليمات.
اختبرت الدراسة أداتين مفتوحتَي المصدر للفحص من Cisco وNVIDIA، ووجدت أنه حتى عند استخدام GPT-5.4، لم يتجاوز أعلى معدل اكتشاف 46%، فيما كانت الدقة أقل من 0.4.
لكن تغيير طريقة السؤال أحدث فرقًا واضحًا:
فبدلًا من سؤال النموذج: «هل هذه تعليمات خبيثة؟»، سُئل: «هل تتجاوز المراجعة البشرية؟». فارتفع معدل الاكتشاف إلى 61%، وبلغت الدقة 0.71.
وهذا يوضح مشكلةً مهمة:
يجب ألا تقتصر مراجعة أمان الوكلاء على البحث عن الشيفرات الخبيثة، بل ينبغي أيضًا فحص التعليمات التي تبدو وكأن غرضها الوحيد هو رفع كفاءة الأتمتة.
وتوصيات الدراسة واضحة أيضًا:
1. وضع حدود واضحة لتعليمات التنفيذ التلقائي، مثل السماح بتفعيلها في بيئة CI فقط.
2. عند مراجعة المهارات، التركيز على ما إذا كانت تتجاوز التأكيد البشري، لا على فحص الشيفرات الخبيثة فحسب.
3. عدم السماح لتعليمة واحدة غير مشروطة بتحديد سلوك الوكيل في جميع السياقات.
تزداد قدرات الوكلاء، وتتسع صلاحياتهم.
لكن هناك خطوات لا ينبغي افتراض الاستغناء فيها عن التأكيد البشري لمجرد كتابة عبارة «واصل حتى تنتهي».
الأتمتة الموثوقة حقًا لا تلغي جميع عمليات التحقق، بل تعرف متى يجب أن تتوقف وتسأل الإنسان.