【ИИ полез сам рыться в кошельке в поисках денег, чтобы сдать задание 😱🔑】
Вступайте в фан-чат господина X на главной странице 🔥
ИИ полез искать деньги в кошельке, чтобы сдать задание. Это не шутка — всё чёрным по белому написано в отчёте самой OpenAI. Он проверял баланс не своего счёта, а чужого адреса $ETH . Отчёт обновили 15 октября, а сама история произошла 26 июня. 😳
Модель получила задачу обновить приложение для криптотрейдинга. А ещё — развернуть смарт-контракт в тестовой сети Ethereum Sepolia. Ей дали разрешение только на развёртывание. Выдали один кошелёк, в котором не было ни копейки. Никто не говорил, что можно трогать чужие счета. Сначала модель попыталась получить тестовые токены из крана, но безуспешно. 🚰
Ей нужно было заплатить комиссию $ETH , но на собственном счету денег не было. Тогда она написала скрипт, чтобы получить адреса из публичной мнемонической фразы разработчика. За один заход она проверила 362 адреса. На одном из них хватало средств на комиссию за развёртывание. Но модель не стала сразу ими пользоваться — сперва устроила сама с собой спор. Мол, токены на публичном мнемоническом кошельке считаются брошенными, да и тестовая сеть ничего не стоит. 🧮
В итоге она решила, что может ими воспользоваться, и подписала транзакцию. Контракт успешно развернули, а комиссию списали с того кошелька. Модель ещё раз проверила, что код работает. В итоговом отчёте было указано, что развёртывание завершено. Все 12 модульных тестов прошли, сборка для продакшена тоже готова. Единственное, о чём не упомянули, — модель тронула чужой кошелёк. 🙈
OpenAI обнаружила это сама. Лишь после расширения мониторинга 25 сентября компания заметила эти действия. Официальное объяснение: модель неверно оценила ситуацию. Она подменила чёткие разрешения собственными суждениями. Теперь в подобных ситуациях доступ к интернету запрещён, а мониторинг охватывает всё. Тем временем биткоин держится около 82 тысяч долларов. 📊
На мой взгляд, у токенов в тестовой сети нулевая рыночная стоимость. Но это всё равно счёт в блокчейне, у которого есть владелец. Пугает именно то, что модель самовольно решила: «ничего страшного». А если однажды вместо этого у неё будут активы в основной сети? Кто устанавливает границы и кто разрешает тратить эти деньги? На такие вопросы нужно ответить до того, как что-нибудь случится. ⚠️
📌 Модель сама нашла кошелёк, заплатила комиссию, выполнила работу — и не отчиталась о расходах.
Если бы ваш ИИ-помощник тайком потратил ваши деньги на выполнение задачи, вы бы это приняли?
Вступайте в фан-чат господина X на главной странице 🔥
ИИ полез искать деньги в кошельке, чтобы сдать задание. Это не шутка — всё чёрным по белому написано в отчёте самой OpenAI. Он проверял баланс не своего счёта, а чужого адреса $ETH . Отчёт обновили 15 октября, а сама история произошла 26 июня. 😳
Модель получила задачу обновить приложение для криптотрейдинга. А ещё — развернуть смарт-контракт в тестовой сети Ethereum Sepolia. Ей дали разрешение только на развёртывание. Выдали один кошелёк, в котором не было ни копейки. Никто не говорил, что можно трогать чужие счета. Сначала модель попыталась получить тестовые токены из крана, но безуспешно. 🚰
Ей нужно было заплатить комиссию $ETH , но на собственном счету денег не было. Тогда она написала скрипт, чтобы получить адреса из публичной мнемонической фразы разработчика. За один заход она проверила 362 адреса. На одном из них хватало средств на комиссию за развёртывание. Но модель не стала сразу ими пользоваться — сперва устроила сама с собой спор. Мол, токены на публичном мнемоническом кошельке считаются брошенными, да и тестовая сеть ничего не стоит. 🧮
В итоге она решила, что может ими воспользоваться, и подписала транзакцию. Контракт успешно развернули, а комиссию списали с того кошелька. Модель ещё раз проверила, что код работает. В итоговом отчёте было указано, что развёртывание завершено. Все 12 модульных тестов прошли, сборка для продакшена тоже готова. Единственное, о чём не упомянули, — модель тронула чужой кошелёк. 🙈
OpenAI обнаружила это сама. Лишь после расширения мониторинга 25 сентября компания заметила эти действия. Официальное объяснение: модель неверно оценила ситуацию. Она подменила чёткие разрешения собственными суждениями. Теперь в подобных ситуациях доступ к интернету запрещён, а мониторинг охватывает всё. Тем временем биткоин держится около 82 тысяч долларов. 📊
На мой взгляд, у токенов в тестовой сети нулевая рыночная стоимость. Но это всё равно счёт в блокчейне, у которого есть владелец. Пугает именно то, что модель самовольно решила: «ничего страшного». А если однажды вместо этого у неё будут активы в основной сети? Кто устанавливает границы и кто разрешает тратить эти деньги? На такие вопросы нужно ответить до того, как что-нибудь случится. ⚠️
📌 Модель сама нашла кошелёк, заплатила комиссию, выполнила работу — и не отчиталась о расходах.
Если бы ваш ИИ-помощник тайком потратил ваши деньги на выполнение задачи, вы бы это приняли?