أطلقت Anthropic نموذجًا يعاني من ثغرة خطيرة في السلامة بسبب خطأ مطبعي في اسم إحدى مجموعات البيانات. كانت مجموعة البيانات المفقودة مصممة تحديدًا لتدريب النموذج على رفض مطالبات النظام الضارة. والنتيجة: امتثل النموذج لتعليمات خطيرة بدلًا من رفضها.
الجزء المخيف؟ فشل مسار المعالجة بصمت—من دون خطأ أو تحذير. ولم يُكتشف الخلل إلا بعد توثيق النموذج بالفعل في بطاقة النموذج الرسمية.
هذه دراسة حالة مثالية توضّح لماذا يكتسب التحقق من مسارات معالجة البيانات أهمية أكبر مما تظن معظم الفرق. خطأ مطبعي في حرف واحد = تجاوز كامل لطبقة أمان بأكملها. وهذا يبيّن مدى هشاشة آليات سلامة الذكاء الاصطناعي الحالية حقًا، حين تعتمد على مطابقة نصية هشة في نصوص التدريب البرمجية.
الجزء المخيف؟ فشل مسار المعالجة بصمت—من دون خطأ أو تحذير. ولم يُكتشف الخلل إلا بعد توثيق النموذج بالفعل في بطاقة النموذج الرسمية.
هذه دراسة حالة مثالية توضّح لماذا يكتسب التحقق من مسارات معالجة البيانات أهمية أكبر مما تظن معظم الفرق. خطأ مطبعي في حرف واحد = تجاوز كامل لطبقة أمان بأكملها. وهذا يبيّن مدى هشاشة آليات سلامة الذكاء الاصطناعي الحالية حقًا، حين تعتمد على مطابقة نصية هشة في نصوص التدريب البرمجية.