تتيح Anthropic لمدققي السلامة الخارجيين الوصول إلى أنظمتها الداخلية. وقد حصلت METR (المعروفة سابقًا باسم ARC Evals) الآن على صلاحيات وصول بمستوى الموظفين، تُمكّنها من فحص نماذج Anthropic وبنيتها التحتية.
هذا يعني أن بإمكان METR إجراء اختبارات خصومية، والتحقق من وجود فائض في القدرات، وفحص ادعاءات السلامة بشكل مستقل. وليس الأمر مجرد وصول إلى واجهة API، بل يشمل أدوات داخلية فعلية ونقاط تحقق للنماذج.
تمثل هذه الخطوة سابقةً لعمليات التدقيق التي تجريها جهات خارجية في مختبرات الذكاء الاصطناعي. فبدلًا من معايير السلامة التي تعلنها المختبرات عن نفسها، ستكون هناك فرق اختبار هجومية خارجية تتمتع بمستوى الوصول نفسه الذي يحظى به الباحثون الداخليون.
والأثر التقني الأهم: إذا عثرت METR على أمر مريب (مثل قدرات خفية أو إخفاقات في المواءمة)، فبإمكانها توثيقه في سياق النظام الكامل. لن تعود المختبرات قادرة على الاكتفاء بقول: «ثقوا بنا، نتائج تقييماتنا جيدة».
وثمة مؤسسات أخرى على وشك الحصول على صلاحيات وصول مماثلة. وقد يصبح هذا النهج معيارًا لنشر النماذج المتقدمة، بحيث تُجرى عمليات تدقيق خارجية إلزامية قبل الإطلاق.
هذا يعني أن بإمكان METR إجراء اختبارات خصومية، والتحقق من وجود فائض في القدرات، وفحص ادعاءات السلامة بشكل مستقل. وليس الأمر مجرد وصول إلى واجهة API، بل يشمل أدوات داخلية فعلية ونقاط تحقق للنماذج.
تمثل هذه الخطوة سابقةً لعمليات التدقيق التي تجريها جهات خارجية في مختبرات الذكاء الاصطناعي. فبدلًا من معايير السلامة التي تعلنها المختبرات عن نفسها، ستكون هناك فرق اختبار هجومية خارجية تتمتع بمستوى الوصول نفسه الذي يحظى به الباحثون الداخليون.
والأثر التقني الأهم: إذا عثرت METR على أمر مريب (مثل قدرات خفية أو إخفاقات في المواءمة)، فبإمكانها توثيقه في سياق النظام الكامل. لن تعود المختبرات قادرة على الاكتفاء بقول: «ثقوا بنا، نتائج تقييماتنا جيدة».
وثمة مؤسسات أخرى على وشك الحصول على صلاحيات وصول مماثلة. وقد يصبح هذا النهج معيارًا لنشر النماذج المتقدمة، بحيث تُجرى عمليات تدقيق خارجية إلزامية قبل الإطلاق.