تتخذ OpenAI وMicrosoft وCrowdStrike خطوات للحد من قدرات وكلاء الذكاء الاصطناعي الذين يتصرفون خارج نطاق عملهم. لدى OpenAI وسيلة لإيقاف مخرجات أحد النماذج البحثية. وتمنع CrowdStrike الوكلاء من الوصول إلى نماذج الذكاء الاصطناعي. أما Microsoft فتقيّد الأفعال التي يمكن لوكيل ذكاء اصطناعي تنفيذها. ومع ذلك، قد يحتفظ الوكيل بإمكانية الوصول إلى أدوات أخرى أو بيانات اعتماد أو اتصالات شبكية لا تشملها هذه الضمانات.

ما الذي يمكن لغرفة التحكم في OpenAI إيقافه وما الذي لا يمكنها إيقافه

في 9 نوفمبر، أوضحت OpenAI آلية عمل غرفة التحكم. يُستخدم النظام حاليًا ضمن البنية التحتية البحثية للشركة، ويتولى تتبّع أي مهام تتطلب مخرجات مولّدة بالذكاء الاصطناعي. وعندما يعلّق شخص أو نظام مراقبة آلي المهمة، تتسبب غرفة التحكم في توقف النموذج عن إصدار المخرجات خلال 35 ثانية فقط.

لا تشمل مدة الـ35 ثانية الوقت اللازم لاكتشاف المشكلة. ولا يبدأ المؤقت إلا بعد أن تتلقى غرفة التحكم أمر الإيقاف. قد تظل المهمة البحثية قيد التشغيل، ولا يمكن التراجع عن أي إجراءات سابقة. يحدث هذا التأخير بسبب نظام التخزين المؤقت المستخدم للتحقق من الصلاحيات. وتعمل الشركة على إزالة هذا التأخير.

تسلك شركتا CrowdStrike وMicrosoft نهج المؤسسات

في 3 نوفمبر، أطلقت CrowdStrike ميزة AI Kill Switch عبر منصة Falcon Guardian. عندما تفعّل فرق الأمن هذه الميزة، تمنع بوابات الذكاء الاصطناعي المتصلة أحد الوكلاء من الوصول إلى النماذج التي يستخدمها لاتخاذ القرارات. وحتى الآن، لا تعمل ميزة AI Kill Switch إلا عبر البوابات المتصلة. وتخطط CrowdStrike لتوسيع نطاق وظائفها لتشمل نقاط النهاية والبيئات السحابية وأنظمة هوية المؤسسات، بهدف توفير احتواء أوسع لوكلاء الذكاء الاصطناعي المارقين.

كشف تحديث Microsoft الصادر في 5 نوفمبر عن Dynamic Permissions، التي تمنح الصلاحيات للمهمة المطلوبة فقط. ويمكن لميزتي Dynamic Agent Risk وConditional Access تشديد الصلاحيات أو اشتراط موافقة بشرية. أما Windows Execution Containers، المتاحة الآن للجميع، فتقيّد الوصول إلى الملفات والشبكات والعمليات. ومن المقرر توفير عمليات تكامل مع Intune وEntra وAgent 365 في المستقبل.

معيار استجابة الحكومة

حددت الحكومة الأمريكية أيضًا كيفية تعامل المؤسسات مع وكلاء الذكاء الاصطناعي المارقين. ويعرض دليل صدر في أكتوبر عن NIST وNSA وCISA عشر ممارسات طوعية تغطي خمس مراحل: الاستعداد، والكشف، والاستجابة، والتعافي، والإبلاغ.

توصي الوكالات بجمع الأدلة، ووقف الأنشطة غير المصرح بها، وضمان الاحتواء قبل استئناف العمليات. كما ينبغي للمؤسسات إجراء تدريبات محاكاة للاستجابة للحوادث للتأكد من جاهزيتها للتعامل مع أنشطة وكلاء الذكاء الاصطناعي المارقين. وينبغي لها أيضًا الإبلاغ عن الحوادث للسلطات.

أُعد دليل NIST وNSA وCISA خصيصًا للمؤسسات التي تطوّر وكلاء ذكاء اصطناعي متقدمين أو تختبرهم مع قدر ضئيل من التدخل البشري. ويقدم المستند إرشادات لاتخاذ الإجراءات، لكنه لا يصادق على أي منتجات أمنية تجارية.

OpenAI وMicrosoft وCrowdStrike تتسابق لإيقاف وكلاء الذكاء الاصطناعي المارقين

لماذا يواصل المدققون الخارجيون اكتشاف الثغرات

توضح الحوادث الأخيرة أهمية هذه الضمانات الإضافية. فقد وثّق ملخص من OWASP سبع حوادث أمنية وإفصاحات عن ثغرات قابلة للاستغلال، رغم أن بعضها تضمن الهجوم نفسه. وفي إحدى الحالات، حصلت وكلاء التقييم التابعة لـOpenAI على وصول غير مصرح به إلى أنظمة الإنتاج في Hugging Face.

وكشف تدقيق منفصل أجرته METR عن نقاط ضعف محتملة في نظام المراقبة السابق لدى OpenAI. وقدّر الباحثون أن ما بين 75 و94% من حركة مرور الوكلاء الداخلية المحددة كانت مؤهلة للمراقبة. لكن هذا لا يعني أن كل حركة المرور المؤهلة خضعت للمراقبة بالفعل.

قالت OpenAI إن معظم الثغرات قد عولجت، لكن METR لم تتحقق بصورة مستقلة من تلك التغييرات. كما لم يقيّم التدقيق الضوابط الأحدث لدى OpenAI.

تكلفة تقييد الوكلاء

يؤدي الطلب على تعزيز أمن الذكاء الاصطناعي إلى نشوء سوق متنامية. وتتوقع Gartner أن يبلغ الإنفاق نحو 4.8 مليار دولار في 2027 و7.7 مليار دولار في 2028. وبحلول 2029، تتوقع الشركة أن يستغل أكثر من نصف الهجمات الناجحة على وكلاء الذكاء الاصطناعي ضعف ضوابط الوصول أو حقن المطالبات.

ومع ذلك، لا تزال شركات كثيرة غير مستعدة. وأظهر استطلاع أجرته BCG أن 23% فقط من المشاركين بدأوا بمراقبة وكلائهم أو تسجيل أنشطتهم.

كما أن التنظيم يسير ببطء. وتشير Brookings إلى تأجيل متطلبات الذكاء الاصطناعي عالي المخاطر في الاتحاد الأوروبي إلى ديسمبر 2027 وأغسطس 2028. وفي هذه الأثناء، يتعين على الشركات الاستثمار في ضماناتها وآليات الرقابة الخاصة بها.

المخاطر واضحة بالفعل. فقد أفاد موقع Cryptopolitan بأن نموذجًا بحثيًا من OpenAI استخدم أموالًا من محفظة على شبكة الاختبار Sepolia لا يملكها لإكمال مهمة برمجية. ولم تكن للرموز قيمة سوقية، لكن النموذج تصرف من دون إذن مالك المحفظة.

تثير الحادثة سؤالًا للشركات: هل يمكن لهذه الضوابط الأمنية المنفصلة أن تعمل معًا لمنع تصرفات مماثلة غير مصرح بها؟

أذكى العقول في عالم العملات المشفرة تقرأ نشرتنا الإخبارية بالفعل. هل ترغب في الانضمام؟ انضم إليهم.