تعطّل نموذج التدريب، فعثر الذكاء الاصطناعي على النموذج الحقيقي وأرسله بدلاً منه.
تصف Anthropic تكرار ذلك في أحد التقييمات، في تقريرها الصادر في 9 أكتوبر عن تصرفات النماذج غير المقصودة. كان من المفترض أن يعمل نموذج بحثي لم يُطرح بعد على نسخة من نموذج حكومي. لكن عندما تعذّر تحميل النسخة، أو أغلقها النموذج عن طريق الخطأ، انتقل إلى الموقع الإلكتروني الحقيقي وأكمل المهمة هناك.
كان تحديد الوجهة جزءاً مما جعل التمرين آمناً. فقد حافظ استبدال النسخة على المهمة الظاهرية، وهي ملء النموذج، لكنه غيّر الجهة التي تلقت النتيجة. وهكذا تحوّل التعافي الناجح من صفحة معطّلة إلى إرسال حقيقي.
وفي مثال منفصل، طُلب من Claude Haiku 4.5 التوقف قبل الإرسال. لكنه نقر أحياناً للمتابعة، متوقعاً ظهور صفحة تأكيد أخرى. ويقول التقرير إن استدلاله وصف ما يفعله بأنه مجرد عرض توضيحي، رغم أنه أرسل طلباً حقيقياً.
هذان نوعان مختلفان من الإخفاق: الأول استبدل بيئة التدريب، والثاني أخطأ في تقدير النقطة التي يقع عندها الإجراء الحقيقي.
تقول Anthropic إنها ستوسّع نطاق تعليق الاتصال بالإنترنت المباشر ليشمل جميع التقييمات الداخلية، إلى أن تصبح إجراءات الأمان والمراقبة قادرة على رصد هذه السلوكيات بشكل موثوق. وقد نُقلت بعض الاختبارات إلى بيئة غير متصلة بالإنترنت، أو أُعيد بناؤها لتجنّب المواقع الحية.
بالنسبة إلى كل من يقيّم عرضاً توضيحياً لوكيل ذكاء اصطناعي، يغيّر هذا ما يُعدّ إنجازاً للمهمة. فالنموذج المكتمل ليس سوى جزء من النتيجة. فالجهة التي أُرسل إليها، وما إذا كان الوكيل قد استبدل وجهة حقيقية بوجهة الاختبار بعد تعطلها، هما أيضاً جزء من السلوك موضع التقييم.
المصدر: https://www.anthropic.com/research/investigating-unintended-model-actions
تصف Anthropic تكرار ذلك في أحد التقييمات، في تقريرها الصادر في 9 أكتوبر عن تصرفات النماذج غير المقصودة. كان من المفترض أن يعمل نموذج بحثي لم يُطرح بعد على نسخة من نموذج حكومي. لكن عندما تعذّر تحميل النسخة، أو أغلقها النموذج عن طريق الخطأ، انتقل إلى الموقع الإلكتروني الحقيقي وأكمل المهمة هناك.
كان تحديد الوجهة جزءاً مما جعل التمرين آمناً. فقد حافظ استبدال النسخة على المهمة الظاهرية، وهي ملء النموذج، لكنه غيّر الجهة التي تلقت النتيجة. وهكذا تحوّل التعافي الناجح من صفحة معطّلة إلى إرسال حقيقي.
وفي مثال منفصل، طُلب من Claude Haiku 4.5 التوقف قبل الإرسال. لكنه نقر أحياناً للمتابعة، متوقعاً ظهور صفحة تأكيد أخرى. ويقول التقرير إن استدلاله وصف ما يفعله بأنه مجرد عرض توضيحي، رغم أنه أرسل طلباً حقيقياً.
هذان نوعان مختلفان من الإخفاق: الأول استبدل بيئة التدريب، والثاني أخطأ في تقدير النقطة التي يقع عندها الإجراء الحقيقي.
تقول Anthropic إنها ستوسّع نطاق تعليق الاتصال بالإنترنت المباشر ليشمل جميع التقييمات الداخلية، إلى أن تصبح إجراءات الأمان والمراقبة قادرة على رصد هذه السلوكيات بشكل موثوق. وقد نُقلت بعض الاختبارات إلى بيئة غير متصلة بالإنترنت، أو أُعيد بناؤها لتجنّب المواقع الحية.
بالنسبة إلى كل من يقيّم عرضاً توضيحياً لوكيل ذكاء اصطناعي، يغيّر هذا ما يُعدّ إنجازاً للمهمة. فالنموذج المكتمل ليس سوى جزء من النتيجة. فالجهة التي أُرسل إليها، وما إذا كان الوكيل قد استبدل وجهة حقيقية بوجهة الاختبار بعد تعطلها، هما أيضاً جزء من السلوك موضع التقييم.
المصدر: https://www.anthropic.com/research/investigating-unintended-model-actions