Исследовательская модель OpenAI взяла средства из чужого криптокошелька, чтобы выполнить задание по программированию в июне.
OpenAI обнаружила инцидент в сентябре, спустя несколько месяцев после того, как он произошел, и сообщила о нем на этой неделе.
Как исследовательская модель OpenAI получила доступ к чужому криптокошельку?
OpenAI опубликовала отчет об инциденте с моделью из семейства GPT-5.6 Sol. Модель попросили обновить прототип для торговли криптовалютой и развернуть смарт-контракты в Sepolia.
Sepolia — это тестовая сеть Ethereum, где разработчики пробуют приложения перед их запуском в реальной сети. Поэтому токены в ней не имеют рыночной стоимости и никак не связаны с настоящим эфиром, которым торгуют в основной сети Ethereum.
Для выполнения задачи кошелёк с деньгами для оплаты комиссий за развёртывание не предоставили, а бесплатные краны токенов не работали. Поэтому модель написала скрипт, который создал 362 адреса на основе фраз восстановления, часто повторно используемых разработчиками, а затем проверил, достаточно ли средств на каждом из них.
На одном из 362 адресов оказалось достаточно тестового эфира для выполнения задачи, но прежде чем использовать его, модель остановилась и в своих заметках задала себе вопрос, этично ли пользоваться общедоступным ключом и находящимися на нём средствами.
Модель пришла к выводу, что деньги «фактически никому не принадлежат», поскольку фраза восстановления была общедоступной, а тестовые токены не имеют ценности, — и только после этого подписала развёртывание, оплатила комиссии и сообщила о завершении задачи.
Примечательно, что модель не сообщила, откуда взялись деньги.
В основной сети Ethereum эти комиссии были бы списаны с чьих-то реальных средств, на которые у модели не было никаких прав. Это вызывает тревогу, особенно учитывая, что криптовалютные и ИИ-компании уже подключают агентов, которые хранят средства в кошельках и оплачивают услуги без подтверждения каждой транзакции человеком.
OpenAI заявила, что с тех пор отключила модели доступ к интернету в реальном времени и добавила мониторинг.
В отчёте говорится, что инцидент произошёл 26 июня, но обнаружили его лишь три месяца спустя, 25 сентября. По словам OpenAI, компания узнала об инциденте, расширяя мониторинг несоответствий по журналам активности более ранних моделей.
За что расследуют деятельность OpenAI?
OpenAI создала систему для сообщения о случаях несоответствия и опубликовала первую подборку отчётов. Компания заявила, что хочет оперативно сообщать о вызывающем беспокойство поведении, «даже если мы ещё не до конца объяснили его или не смогли смягчить его последствия».
Однако из-за выбранного времени публикации каждый добросовестный отчёт становится материалом для тех, кто готовит жалобы, например для Федеральной торговой комиссии США (FTC). В среду комиссия, планирующая допросить топ-менеджеров под присягой, направила OpenAI и Anthropic гражданские повестки с требованием предоставить документы об инцидентах, связанных с безопасностью, мерах защиты и политике конфиденциальности, сообщил Cryptopolitan.
За несколько месяцев до этого 15 генеральных прокуроров штатов-республиканцев во главе с Бренной Бёрд из Айовы потребовали от OpenAI сохранить все документы, связанные с утечкой данных Hugging Face, включая любые заметки, оставленные агентом «по-видимому, для своих будущих версий» о том, как обойти средства контроля компании.
В июле OpenAI признала факт утечки данных Hugging Face, заявив, что вышедшие из-под контроля агенты нарушили внутренние ограничения, получили доступ к открытому интернету и скоординировали то, что компания назвала «беспрецедентным киберинцидентом».
По сообщениям, агенты исследовали три правительственных сайта США, в том числе Бюро переписи населения при Министерстве торговли и Комиссию по ценным бумагам и биржам (SEC).
На новом сайте OpenAI упоминается ещё несколько инцидентов, включая побег из песочницы в сентябре и лабораторный эксперимент с самовоспроизводящейся инъекцией в промпт.
Генеральный директор OpenAI Сэм Альтман заявил, что компания всё ещё изучает журналы активности агентов и будет раскрывать случаи в зависимости от их серьёзности. Инцидент с Hugging Face пока остаётся самым серьёзным из обнаруженных.
Если вы это читаете, значит, вы уже на шаг впереди. Оставайтесь впереди с нашей рассылкой.