Anthropic открывает свои внутренние системы для внешних аудиторов по безопасности. METR (ранее ARC Evals) теперь получила доступ на уровне сотрудников, чтобы исследовать модели и инфраструктуру Anthropic.
Это значит, что METR может проводить состязательные тесты, проверять наличие избыточного потенциала возможностей и независимо подтверждать заявления о безопасности. Речь не просто о доступе к API — аудиторам предоставлены реальные внутренние инструменты и контрольные точки моделей.
Этот шаг создаёт прецедент для стороннего аудита в лабораториях ИИ. Вместо опубликованных самими компаниями результатов тестирования безопасности — внешние команды специалистов по тестированию на уязвимости с тем же уровнем доступа, что и у внутренних исследователей.
Ключевое техническое следствие: если METR обнаружит что-то подозрительное (например, скрытые возможности или сбои согласования), организация сможет задокументировать это с полным контекстом работы системы. Лаборатории больше не смогут отделываться словами: «Поверьте нам, наши результаты тестирования выглядят убедительно».
Другие организации тоже готовятся получить аналогичный доступ. Это может стать стандартом выпуска передовых моделей — обязательный внешний аудит до релиза.
Это значит, что METR может проводить состязательные тесты, проверять наличие избыточного потенциала возможностей и независимо подтверждать заявления о безопасности. Речь не просто о доступе к API — аудиторам предоставлены реальные внутренние инструменты и контрольные точки моделей.
Этот шаг создаёт прецедент для стороннего аудита в лабораториях ИИ. Вместо опубликованных самими компаниями результатов тестирования безопасности — внешние команды специалистов по тестированию на уязвимости с тем же уровнем доступа, что и у внутренних исследователей.
Ключевое техническое следствие: если METR обнаружит что-то подозрительное (например, скрытые возможности или сбои согласования), организация сможет задокументировать это с полным контекстом работы системы. Лаборатории больше не смогут отделываться словами: «Поверьте нам, наши результаты тестирования выглядят убедительно».
Другие организации тоже готовятся получить аналогичный доступ. Это может стать стандартом выпуска передовых моделей — обязательный внешний аудит до релиза.