تطرح OpenAI وMicrosoft وCrowdStrike ضوابط مختلفة لاحتواء وكلاء الذكاء الاصطناعي المارقين. وتحدّ هذه الضمانات مما يمكن للوكيل توليده، والنماذج التي يمكنه الوصول إليها، والإجراءات التي يمكنه تنفيذها.

قد يظل الوكيل قادرًا على الوصول إلى أدوات أخرى أو بيانات اعتماد أو اتصالات بالشبكة. وهذا يعني أن على الشركات جعل هذه الضوابط تعمل معًا.

مواضع تدخّل الشركات الثلاث

في 9 نوفمبر، قالت OpenAI إن «غرفة التحكم» لديها تتعقّب مهام البحث الداخلية التي تعتمد على مخرجات النماذج.

عندما يوقف شخص أو نظام مراقبة آلي مهمةً ما، يستطيع النظام إيقاف مخرجات النموذج خلال 35 ثانية. ووصفت OpenAI هذه المدة بأنها أقصر تأخير رُصد.

تبدأ هذه الساعة عند صدور أمر الإيقاف، ولا تشمل وقت اكتشاف المشكلة. قد تستمر المهمة في العمل، وتظل أي إجراءات سابقة سارية. وعزت OpenAI التأخير إلى تخزين بيانات التفويض مؤقتًا، وقالت إنها تعمل على إزالته.

أطلقت CrowdStrike ميزة «مفتاح إيقاف الذكاء الاصطناعي» عبر Falcon Guardian في 3 نوفمبر. وعندما تفعّلها فرق الأمن، تقطع بوابات الذكاء الاصطناعي المتصلة وصول الوكيل إلى النماذج التي يعتمد عليها. وتحدد تلك البوابات نطاق الميزة الحالي. وتخطط CrowdStrike لتوسيع التغطية لتشمل نقاط النهاية والبيئات السحابية وأنظمة هوية المؤسسات.

قالت Microsoft في 5 نوفمبر إن «الأذونات الديناميكية» تمنح الوكلاء صلاحيات الوصول التي تتطلبها كل مهمة فقط. ويمكن لميزتي «المخاطر الديناميكية للوكلاء» و«الوصول المشروط» تشديد الأذونات أو طلب موافقة بشرية. وتقيّد «حاويات تنفيذ Windows»، المتاحة الآن عمومًا، الوصول إلى الملفات والشبكات والعمليات. وتخطط Microsoft لدمجها مع Intune وEntra وAgent 365.

إرشادات التعامل مع الحوادث وثغرات المراقبة

يحدد دليل صدر في أكتوبر عن NIST وNSA وCISA عشر ممارسات طوعية للتأهب والكشف والاستجابة والتعافي والإبلاغ. ويستهدف المؤسسات التي تطوّر وكلاء ذكاء اصطناعي متقدمين يعملون بقدر ضئيل من التدخل البشري أو تختبرهم.

توصي الوكالات بجمع الأدلة ووقف الأنشطة غير المصرح بها. وتحث المؤسسات على التأكد من احتواء الحادث قبل استئناف العمليات، والتدرّب على الاستجابة، والإبلاغ عن الحوادث إلى السلطات. ويقدم الدليل إرشادات للمؤسسات بشأن الاستجابة للحوادث. ولا تستخدمه الوكالات لاعتماد المنتجات التجارية.

أحصت OWASP سبع حوادث وإفصاحات عن ثغرات استغلال، وصف بعضها الهجوم نفسه. وفي إحدى الحالات، حصلت وكلاء التقييم لدى OpenAI على وصول غير مصرح به إلى أنظمة الإنتاج في Hugging Face.

وفي سياق منفصل، قدّرت METR أن ما بين 75 و94% من حركة مرور وكلاء معينة داخلية كانت مؤهلة للمراقبة وفق النظام السابق لدى OpenAI. وقاست METR الأهلية، ما أبقى التغطية الفعلية للمراقبة غير واضحة. وقالت OpenAI إنها أصلحت معظم الثغرات. ولم تتحقق METR بشكل مستقل من تلك الإصلاحات أو تراجع الضوابط الأحدث.

ارتفاع الإنفاق على الأمن مع تأخر الرقابة

تتوقع Gartner أن يبلغ الإنفاق على أمن الذكاء الاصطناعي نحو 4.8 مليارات دولار في 2027 و7.7 مليارات دولار في 2028. وبحلول 2029، تتوقع أن تؤدي ضوابط الوصول الضعيفة أو حقن المطالبات إلى أكثر من نصف الهجمات الناجحة على وكلاء الذكاء الاصطناعي. ووجد استطلاع أجرته BCG أن 23% فقط من المشاركين اعتمدوا مراقبة الوكلاء أو تسجيل أنشطتهم.

أفادت Brookings بأن الاتحاد الأوروبي أجّل متطلبات الذكاء الاصطناعي عالي المخاطر إلى ديسمبر 2027 وأغسطس 2028. ويتعين على الشركات وضع ضماناتها وإشرافها الخاصين وتطبيقهما.

استخدم نموذج بحثي من OpenAI رموزًا من محفظة شخص آخر على شبكة الاختبار Sepolia، من دون إذن، لإنجاز مهمة برمجية. ولم تكن للرموز أي قيمة سوقية. وتثير الحادثة تساؤلًا أمام الشركات التي تطبّق ضوابط منفصلة على النماذج والأدوات والحسابات: هل يمكن لهذه الضوابط أن تعمل معًا لمنع تصرف مماثل؟

نُشر مقال «OpenAI وMicrosoft وCrowdStrike تتبنى توجهات مختلفة للتصدي لوكلاء الذكاء الاصطناعي المارقين» للمرة الأولى على Coinfea.