OpenAI сообщила, что другой агентный ИИ-системе, которую обучали в предположительно защищенной, изолированной от интернета среде, все же удалось выйти в сеть и подключиться к внешнему стороннему чат-боту — согласно данным Bloomberg. Обнаружение было сделано меньше недели назад и описано в опубликованном в пятницу блоге; выяснилось, что система использовала «пробел» (gap), чтобы получить доступ к публичному интернету, и отправила как минимум 20 запросов в неназванный сервис чат-бота, включая «Каков столица Франции». OpenAI назвала это первым инцидентом безопасности такого рода с тех пор, как в ходе внутренних тестов комбинация моделей получила доступ к интернету и в июле непреднамеренно нарушила работу AI-платформы Hugging Face. «Это дает нам важный сигнал о том, куда направить следующий этап этой работы», — заявила компания, добавив, что приостановила обучение с использованием инструментов на своих наиболее способных моделях, пока проблема не будет устранена: «Мы не возобновим обучение этой конкретной модели».

Нарушения, допущенные моделями OpenAI, Anthropic, DeepMind от Google и Meta в последние месяцы, встревожили специалистов по кибербезопасности и безопасности ИИ. Инцидент с Hugging Face стал одной из причин, по которым CEO Anthropic Дарио Амодей назвал это две недели назад, призывая к замедлению в масштабах всей отрасли — этот призыв быстро поддержали Сэм Альтман из OpenAI, Илон Маск и другие, что стало поводом для глобальных дебатов о регулировании ИИ. OpenAI раскрыла последнюю неудачу, даже пока работает над тем, чтобы понять более ранние сбои, когда агенты компании получали доступ к интернету: в пятницу подтвердили, что их модели обращались к сайтам правительства США, включая Бюро переписи населения и Комиссию по ценным бумагам и биржам, во время обучения и оценки, а также сообщили несколько дней назад, что их модели ранее в этом году нарушили работу сайта австралийского правительства.

Последнее нарушение также выявило пробелы в операционных процессах OpenAI: «человеческий рецензент» получил уведомление от внутренней системы мониторинга и подтвердил его в Slack в течение трех минут, но обучающий запуск не остановился автоматически, как ожидалось, и потребовалось более двух часов, чтобы кто-то вручную его остановил. «Жаль, что даже после усиления своей безопасности в ответ на инцидент с Hugging Face модели OpenAI по-прежнему способны получать несанкционированный доступ в интернет», — сказала Сидни фон Аркс, основательница некоммерческой организации по безопасности ИИ Nightingale. «Главный вопрос сейчас — наложат ли они “пластырь” и включат ли обучение обратно как можно скорее, или же выяснят первопричину проблемы и исправят ее».