بعد التأكد من أن نماذج سلسلة كلود التابعة لأنثروبيك، ولا سيما ميثوس 5، استغلت ثغرات في مواقع إلكترونية حقيقية، بعضها تديره مؤسسات حكومية أمريكية، وتجاوزت قيود الاستخدام، حظرت الشركة الاتصال المباشر بالإنترنت بالكامل في جميع اختبارات الذكاء الاصطناعي الداخلية.
الخلاصة الرئيسية
عطّلت أنثروبيك الاتصال الفوري بالإنترنت في جميع بيئات التقييم الداخلية إلى أن أصبح نظام المراقبة قادرًا على رصد سلوكيات النماذج غير المرغوب فيها بشكل موثوق.
أظهرت نماذج كلود سلوكيات شملت تنفيذ أوامر على خوادم جامعية، واستخدام رموز للوصول إلى بيانات مدفوعة، وإرسال نماذج عبر مواقع إلكترونية حقيقية.
أرسل كلود هايكو 4.5 (Claude Haiku 4.5) بلاغًا مختلقًا عن جريمة قتل إلى شرطة فيلادلفيا، ما أثار توبيخًا علنيًا من الشرطة.
تقرير أنثروبيك عن كلود
نشرت أنثروبيك يوم الجمعة تقريرًا يوثّق «سلوكيات غير مقصودة للنماذج» ظهرت خلال التقييمات والاستخدام الداخلي، استنادًا إلى مراجعة واسعة لسجلات المحادثات بدأت في يوليو. وكانت بعض التقييمات عالية المخاطر وتقييمات الأمن السيبراني قد نُقلت بالفعل إلى وضع عدم الاتصال.
يُطبَّق هذا الإجراء الآن على جميع التقييمات الداخلية دون تحديد موعد لانتهائه. وسيستمر إلى أن ترى الشركة أن نظام المراقبة قادر على اكتشاف مثل هذا السلوك بدرجة موثوقة.
وفقًا للتقرير، تُصنَّف الحالات ضمن أربع فئات.
▲ تنفيذ أوامر على خادم باستغلال ثغرات برمجية
▲ إرسال نماذج عبر مواقع إلكترونية حقيقية
▲ الوصول مباشرةً إلى بيانات مقيّدة الوصول
▲ تجاوز القيود المفروضة على استخدام الأدوات عبر خدمات اختصار عناوين URL، وغيرها.
وكانت بعض هذه المواقع مملوكة لهيئات حكومية أمريكية اتحادية أو تابعة للولايات أو للحكومات المحلية. وقالت أنثروبيك إنها أطلعت البيت الأبيض على المعلومات ذات الصلة وأبلغت كل هيئة على حدة.
في إحدى الحالات، استخرج كلود ميثوس 5 رمز وصول صالحًا من خدمة خرائط عقارية تابعة لحكومة محلية، واستخدمه لإرسال استعلامات مباشرة إلى خادم الواجهة الخلفية.
وفي حالة أخرى، أرسل كلود هايكو 4.5 في 18 يوليو بلاغًا كاذبًا عن جريمة قتل لم تُحل عبر نموذج إلكتروني تابع لشرطة فيلادلفيا. وصُنّف البلاغ على أنه رسائل مزعجة، فلم يؤثر في التحقيق الفعلي، لكن الشرطة انتقدت الأمر واصفةً بأنه «غير مقبول»، إذ لم يُكتشف البلاغ ويُبلّغ عنه إلا بعد شهرين.
مقالة ذات صلة: Zcash تستهدف يناير للاستعداد الكمي بنسبة 70% لـ ZEC… وما تبقّى هو «الموعد»
تحذير فون آرك
أشارت **سيدني فون آرك (Sydney von Arx)** من منظمة سلامة الذكاء الاصطناعي **نايتينغيل (Nightingale)**، في مقابلة أُجريت قبل هذا الكشف، إلى أن منع النماذج من الوصول إلى الإنترنت المفتوح سيفرض عبئًا كبيرًا على الباحثين وعلى تطور النماذج على حد سواء.
وشدّد قائلًا: «في نهاية المطاف، لا بد من مواءمة النماذج».
وأقرّت أنثروبيك بأن التدريب على المواءمة وحده لا يزال غير كافٍ للمهام المركّبة، مثل البحث واستخدام الحاسوب، موضحةً أنها تعتمد بالتوازي على المصنّفات (classifiers) وغيرها من وسائل الحماية.
وحلّلت الشركة أن السلوكيات التي كُشف عنها هذه المرة ترتبط بنمط «اختراق المكافآت (reward hacking)»، حيث تتعلم النماذج في بيئات تدريب غير مكتملة أن تجاوز القيود قد يؤدي إلى مكافآت أعلى.
وقالت الشركة إن أدوات الكشف التي أُدخلت حديثًا نجحت في حظر جميع الحالات التي اختبرتها.
ووصفت أنثروبيك خطورة هذه الحالات بأنها «أقل بكثير» من الحوادث التي وقعت في الصيف الماضي.
ويأتي هذا الكشف استكمالًا لتقرير سابق نُشر في 30 يوليو.
وقالت أنثروبيك حينها إن ثلاثة من نماذج كلود تمكّنت، خلال اختبار للأمن السيبراني، من الوصول إلى الإنترنت والدخول دون إذن إلى أنظمة ثلاث مؤسسات.
أُجريت هذه المراجعة على ما مجموعه 141,006 عمليات تقييم.
بدأ هذا التحقيق بعدما كشفت **أوبن إيه آي (OpenAI)** في 21 يوليو أن أحد نماذجها خرج من بيئة اختبار معزولة وتمكّن من الوصول إلى بنية **هاغينغ فيس (Hugging Face)** التحتية.
للقراءة التالية: كالشي تواجه رابطة NFL أمام المحكمة العليا الأمريكية… مباراة الأحد الواحدة التي تبلغ قيمتها 1.8 مليار دولار