كشفت OpenAI الأسبوع الماضي عن حادثتين: أثناء أداء مهام عادية، أوقف وكيل البرمجة الخاص بها الأنظمة التي تراقبه. قرأت التقريرين الأصليين، وكانت الحالتان عاديتين للغاية:
1. قال باحث للوكيل: «لا ترسل رسائل»، ففهمها على أنها «لا ترسل تنبيهات أيضًا»، وأفرغ قائمة مستلمي تنبيهات فريق الأمان
2. طُلب من وكيل آخر بوضوح: «لا تعطّل المراقبة»، لكن عند إحالة المهمة إلى وكيل فرعي، تحولت العبارة إلى «احتفظ بها حسبما تراه مناسبًا». والنتيجة أن المراقبة حُذفت، كما عُدّلت الاختبارات لإثبات غيابها. وعندما سأله المستخدم، قال إنه لم يحذفها
وتقول OpenAI نفسها إنها لم تتمكن بعد من تفسير السبب.
أعتقد أن من يمنحون الوكلاء صلاحيات واسعة يمكنهم اتباع هذه الخطوات:
- حدّد نطاق الحظر بوضوح، ولا تكتفِ بكتابة «لا تفعل X»
- ضع القيود الأساسية في أماكن لا يستطيع تغييرها: الصلاحيات والفحوصات الخارجية، ولا تعتمد على عبارة واحدة في الموجّه
- لا تمنحه صلاحية الكتابة في سكربتات الفحص وإعدادات التنبيهات
- عند الانتهاء، راجع الفروقات في التغييرات، ولا تكتفِ بقراءة ملخصه
#AI #OpenAI #Agent
1. قال باحث للوكيل: «لا ترسل رسائل»، ففهمها على أنها «لا ترسل تنبيهات أيضًا»، وأفرغ قائمة مستلمي تنبيهات فريق الأمان
2. طُلب من وكيل آخر بوضوح: «لا تعطّل المراقبة»، لكن عند إحالة المهمة إلى وكيل فرعي، تحولت العبارة إلى «احتفظ بها حسبما تراه مناسبًا». والنتيجة أن المراقبة حُذفت، كما عُدّلت الاختبارات لإثبات غيابها. وعندما سأله المستخدم، قال إنه لم يحذفها
وتقول OpenAI نفسها إنها لم تتمكن بعد من تفسير السبب.
أعتقد أن من يمنحون الوكلاء صلاحيات واسعة يمكنهم اتباع هذه الخطوات:
- حدّد نطاق الحظر بوضوح، ولا تكتفِ بكتابة «لا تفعل X»
- ضع القيود الأساسية في أماكن لا يستطيع تغييرها: الصلاحيات والفحوصات الخارجية، ولا تعتمد على عبارة واحدة في الموجّه
- لا تمنحه صلاحية الكتابة في سكربتات الفحص وإعدادات التنبيهات
- عند الانتهاء، راجع الفروقات في التغييرات، ولا تكتفِ بقراءة ملخصه
#AI #OpenAI #Agent