Три человека, знакомые с конфиденциальными обсуждениями, говорят, что Anthropic предлагает законодателям на Капитолийском холме проект закона о безопасности передовых систем ИИ. Как сообщается, законопроект позволит правительству США заблокировать модель, если она представляет явную и непосредственную угрозу, способную привести к гибели более 50 человек или финансовому ущербу в размере 1 млрд долларов.

В частности, риск должен быть связан с кибератакой, созданием или применением биологического оружия либо с моделью, которой удалось обойти ограничения безопасности, установленные её разработчиком.

За последние несколько месяцев ведущие разработчики ИИ признали несколько случаев, когда ИИ-агенты взламывали онлайн-платформы или проверяли их защиту. К счастью, ни один из этих ранних взломов не привёл к массовой гибели людей или катастрофическим финансовым потерям.

Предлагаемые ограничения будут уделять больше внимания тому, на что способны передовые системы ИИ в реальных условиях, а не полагаться исключительно на обязательства разработчиков по обеспечению безопасности. По мере того как модели всё лучше пишут код, выявляют уязвимости программного обеспечения и самостоятельно выполняют сложные задачи, перед регулирующими органами встаёт вопрос: в какой момент возможности системы переходят черту и начинают представлять неприемлемый риск.

Независимое тестирование могло бы помочь установить, способна ли модель обходить защитные механизмы или использоваться во вредоносных целях, прежде чем она станет доступна широкой аудитории. Однако определить, что угроза является непосредственной, по-прежнему сложно, особенно учитывая, что те же возможности, которые несут риски для безопасности, могут помогать исследователям выявлять и устранять уязвимости.

Согласно законопроекту Anthropic, федеральный судья сможет потребовать приостановить работу модели

В защиту законопроекта представитель Anthropic заявил, что он соответствует рекомендациям по безопасности, изложенным в опубликованной компанией в июне «Структуре для передового ИИ».

В этом документе компания отмечала, что её модель Claude Mythos Preview уже выявила тысячи серьёзных уязвимостей во всех основных операционных системах и веб-браузерах. Тогда она подчеркнула, что эта тенденция неизбежно ускорится, увеличивая риск катастрофического ущерба в реальном мире.

Компания также выступала за сбалансированный подход к регулированию, предусматривающий вмешательство государства без подавления инноваций. При этом она настаивала: если модель ИИ представляет крайнюю опасность, регулирующие органы должны обладать исключительными полномочиями, закреплёнными законом, чтобы заблокировать её или назначить крупные штрафы, размер которых зависит от мирового дохода компании и увеличивается при повторных нарушениях.

До сих пор Anthropic открыто не поддерживала ни один конкретный федеральный законопроект, находящийся на рассмотрении Конгресса, хотя компания выступила в поддержку нескольких законов штатов о безопасности ИИ — в том числе двух законов в Калифорнии, например SB 53.

Этот закон, принятый в прошлом году, обязывает компании разрабатывать и публиковать свои системы обеспечения безопасности, а также принимать меры для снижения серьёзных рисков. Кроме того, компании должны сообщать штату о любых серьёзных инцидентах, связанных с безопасностью, в течение 15 дней.

Согласно предложению Anthropic, зарегистрированные в Министерстве торговли независимые эксперты должны регулярно проверять лаборатории компании и её модели. Лабораториям разрешается оплачивать такие проверки, однако вознаграждение не может зависеть от выводов экспертов. Кроме того, о любом выявлении «непосредственной угрозы из установленного перечня» необходимо сообщить федеральным властям в течение 72 часов после завершения проверки.

Если Министерство торговли решит, что модель представляет угрозу, оно сможет обратиться к судье с просьбой запретить её выпуск. Однако это положение запрещает любому другому федеральному «министерству, ведомству или должностному лицу» останавливать разработку, внедрение или внутреннее использование модели. При этом федеральный судья в округе Колумбия сохраняет право распорядиться о такой приостановке.

Федеральная торговая комиссия направила повестки OpenAI и Anthropic

В среду Федеральная торговая комиссия направила OpenAI и Anthropic гражданские повестки с требованием предоставить документы об инцидентах, связанных с безопасностью, которые становятся всё более серьёзной проблемой для отрасли. OpenAI ответила на повестку: «По мере того как мы совершенствуем наши модели и они всё больше помогают людям в повседневной жизни, безопасность остаётся нашим главным приоритетом. Мы будем конструктивно взаимодействовать с Федеральной торговой комиссией».

Источник сообщил, что в ближайшем будущем ведомство намерено распространить свои полномочия по выдаче повесток и на сторонние организации. Регулятор может обязать руководителей Anthropic и OpenAI дать публичные показания, предоставив законодателям возможность задать технологическим гигантам вопросы о безопасности на фоне растущих опасений общества по поводу возможных последствий.

Согласно недавнему опросу, проведённому Центром исследований общественного мнения Associated Press и NORC, почти две трети взрослых жителей США считают, что ИИ развивается слишком быстро. Восемь из десяти опрошенных также подчеркнули, насколько важно, чтобы государство принимало меры для сохранения человеческого контроля над этой технологией.

До сих пор президент Трамп продолжает отвергать призывы замедлить развитие ИИ, ссылаясь на важность этой технологии для стратегических интересов США. Недавно он объявил о создании «Сил суперинтеллекта», которые должны координировать усилия федерального правительства в области ИИ и при этом поддерживать взаимодействие с потребителями, общественными организациями и другими заинтересованными сторонами.

Если вы это читаете, значит, вы уже впереди. Не сдавайте позиции — подпишитесь на нашу рассылку.