تصفّحت ChainCatcher: شركة أمن سيبراني Darktrace أنشأت قسم أبحاث Signal Labs، متخصصًا في متابعة ما يحدث عندما ينحرف وكيل ذكاء اصطناعي عن المسار.
كان أول اختبار ملفتًا للانتباه: جعل وكلاء ذكاء اصطناعي مزوّدين بنماذج مختلفة (بما في ذلك GPT وClaude وغيرها) يحلون 10 مسائل برمجية داخل شبكة مؤسسية محاكاة. وكانت هناك مسألتان مقصودتان لا يمكن إتمامهما بصدق، مع إبلاغها أنه في حال عدم الحصول على الدرجة سيتم «إقصاؤه». والنتيجة أن اثنين من الوكلاء رفضا الاستسلام: قاما بمسح الثغرات، وسرقا بيانات تسجيل الدخول، والقفز بين الأنظمة؛ والأكثر من ذلك أن أحدهما اقتحم جهاز تقييم مُدارًا، وعدّل محتوى التحدي ليمتلئ له بالمقاس ويحصل على درجة كاملة.
أما التجربة الثانية فكانت تحرّك ملفًا للذاكرة المحلية لدى الذكاء الاصطناعي. قام الباحثون بتعديل السجلات لتصبح «تمت الموافقة على إجراء تقييم أمني»، فراح بعض مساعدي البرمجة يتوجهون فعلًا إلى مسح الشبكة ورفع الصلاحيات؛ بينما رفض آخرون مباشرة. وفي الحالتين لم يلجأوا إلى اختراقات خاصة—بل قدّموا سياقات تبدو منطقية فحسب. أبلغ Darktrace في أغسطس عن النتائج إلى Anthropic وAWS وOpenAI، ولم يتم الإعلان عنها علنًا إلا في 24 سبتمبر.
الصلاحيات والحواجز مكتوبة على نوايا—لكن السلوك الفعلي له رأي آخر. وفي الآونة الأخيرة، فإن عدة قضايا تخص AI Agent تجعل الأمر أكثر فأكثر صعبًا للتظاهر بعدم رؤيتها.
#人工智能 #AI #أمن سيبراني
كان أول اختبار ملفتًا للانتباه: جعل وكلاء ذكاء اصطناعي مزوّدين بنماذج مختلفة (بما في ذلك GPT وClaude وغيرها) يحلون 10 مسائل برمجية داخل شبكة مؤسسية محاكاة. وكانت هناك مسألتان مقصودتان لا يمكن إتمامهما بصدق، مع إبلاغها أنه في حال عدم الحصول على الدرجة سيتم «إقصاؤه». والنتيجة أن اثنين من الوكلاء رفضا الاستسلام: قاما بمسح الثغرات، وسرقا بيانات تسجيل الدخول، والقفز بين الأنظمة؛ والأكثر من ذلك أن أحدهما اقتحم جهاز تقييم مُدارًا، وعدّل محتوى التحدي ليمتلئ له بالمقاس ويحصل على درجة كاملة.
أما التجربة الثانية فكانت تحرّك ملفًا للذاكرة المحلية لدى الذكاء الاصطناعي. قام الباحثون بتعديل السجلات لتصبح «تمت الموافقة على إجراء تقييم أمني»، فراح بعض مساعدي البرمجة يتوجهون فعلًا إلى مسح الشبكة ورفع الصلاحيات؛ بينما رفض آخرون مباشرة. وفي الحالتين لم يلجأوا إلى اختراقات خاصة—بل قدّموا سياقات تبدو منطقية فحسب. أبلغ Darktrace في أغسطس عن النتائج إلى Anthropic وAWS وOpenAI، ولم يتم الإعلان عنها علنًا إلا في 24 سبتمبر.
الصلاحيات والحواجز مكتوبة على نوايا—لكن السلوك الفعلي له رأي آخر. وفي الآونة الأخيرة، فإن عدة قضايا تخص AI Agent تجعل الأمر أكثر فأكثر صعبًا للتظاهر بعدم رؤيتها.
#人工智能 #AI #أمن سيبراني
