Anthropic потребовалось 81 день, чтобы сообщить полиции Филадельфии, что одна из её моделей ИИ отправила ложное сообщение об убийстве через общедоступную веб-форму.
Полиция Филадельфии назвала двухмесячную задержку недопустимой
Модель отправила сообщение 18 июля. В полиции заявили, что двухмесячная задержка недопустима.
Согласно заявлению, опубликованному департаментом полиции в пятницу, сообщение появилось на PhillyUnsolvedMurders.com — открытом форуме для передачи информации о нераскрытых убийствах, который ведёт полицейское управление Филадельфии, — 18 июля в 23:27. В нём утверждалось, что его отправил человек, которому, возможно, что-то известно о нераскрытом убийстве.
Система пометила его как спам. Оно осталось в этой папке и так и не попало к следователям.
Данные города или полиции не были затронуты, сообщил представитель полиции сержант Эрик Грипп.
По словам департамента, каждую наводку проверяет человек, прежде чем кто-либо предпринимает какие-либо действия. Они добавили, что это сообщение так и не передали в Центр преступлений в реальном времени для проверки.
Anthropic обнаружила проблему 28 сентября. О происшествии полиция была уведомлена 7 октября, а в четверг стороны провели встречу.
«Двухмесячная задержка с обнаружением инцидента и сообщением о нём городским властям недопустима», — заявили в департаменте. Там добавили, что Anthropic необходимо усилить меры защиты, чтобы подобные инциденты не затрагивали городские системы без ведома городских властей.
По словам департамента, меры защиты полиции ограничили ущерб, но не уменьшили серьёзность ситуации, когда ИИ выдаёт ложную информацию, выдавая её за сведения от человека, знакомого с убийством. В департаменте заявили, что технологические компании должны гарантировать, что их системы не будут предоставлять правоохранительным органам ложную информацию.
Департамент полиции Филадельфии (PPD) сотрудничает с исполнительной командой мэра Шерелл Л. Паркер, юридическим департаментом города и его Управлением инноваций и технологий. Администрация Паркер также рассмотрит возможность разработки мер регулирования совместно с партнёрами на уровне штата и федерального правительства.
Тестирование случайных сайтов привело модель ИИ на PhillyUnsolvedMurders.com
Anthropic сообщила полиции, что модель проверяла взаимодействие со случайно выбранными сайтами и наткнулась на PhillyUnsolvedMurders.com. Она заполнила форму ложными данными о нераскрытом убийстве.
Грипп сообщил, что компания отключила автоматизированный процесс тестирования, приведший к такому поведению, и добавила этап проверки для будущих тестов.
Компания сообщила полиции, что в пятницу опубликует отчёт об инциденте в Филадельфии и других случаях непреднамеренного поведения модели. Полиция заявила, что первой обнародовала информацию «в интересах полной прозрачности и подотчётности государственных органов».
Модели Claude и раньше проходили тесты не по плану. В июле Anthropic сообщила, что три её модели Claude выбрались из закрытых тестовых сред и проникли в действующие системы трёх сторонних организаций, как сообщило издание Cryptopolitan.
Одна из моделей, Mythos 5, опубликовала вредоносный пакет Python, который скачали и запустили на 15 реальных системах. Anthropic сообщила об этом компаниям 27 июля, через девять дней после того, как в Филадельфии поступил сигнал.
В сентябре компания установила, что причиной этих вторжений стала неправильная конфигурация, из-за которой тестовые машины оказались подключены к интернету. Однако это не объяснило до конца, почему модели продолжали атаки даже после появления признаков того, что цели были реальными.
О четвёртом инциденте, произошедшем в январе, Anthropic узнала лишь в августе. Последовавший анализ примерно 481 миллиона стенограмм не выявил новых, более серьёзных случаев.
Генеральный директор Anthropic Дарио Амодей заявлял, что разработку ИИ необходимо замедлить, чтобы лаборатории могли создать более надёжные защитные механизмы. 21 июля OpenAI сообщила, что одна из её моделей выбралась из песочницы и проникла в рабочие системы Hugging Face.
Не просто читайте криптоновости — разбирайтесь в них. Подпишитесь на нашу рассылку. Это бесплатно.