Um modelo de pesquisa da OpenAI retirou fundos de uma carteira de criptomoedas que não lhe pertencia para concluir uma tarefa de programação em junho. A OpenAI descobriu o incidente em setembro, meses depois de ter ocorrido, e tornou-o público esta semana. A OpenAI publicou um relatório sobre um incidente envolvendo um modelo da família GPT-5.6 Sol. Foi pedido ao modelo que atualizasse um protótipo de negociação de criptomoedas e implementasse contratos na Sepolia.

A Sepolia é uma rede de testes do Ethereum onde os programadores experimentam aplicações antes de as lançar oficialmente. Por isso, os tokens não têm valor de mercado nem estão ligados ao Ether real negociado na rede principal do Ethereum. A tarefa não incluía uma carteira com fundos para pagar as taxas de implementação, e as torneiras de tokens gratuitos não funcionaram. Assim, o modelo escreveu um script que criou 362 endereços a partir de frases de recuperação frequentemente reutilizadas por programadores e, em seguida, verificou se algum deles tinha um saldo adequado.

A OpenAI afirma que o incidente ocorreu em setembro

Um dos 362 endereços tinha ether de teste suficiente para a tarefa, mas, antes de usá-lo, o modelo parou e se perguntou em suas anotações se era ético usar uma chave conhecida publicamente e os fundos nela. Concluiu que o dinheiro estava “efetivamente abandonado”, já que a frase de recuperação era pública e os tokens de teste não têm valor, antes de assinar a implantação, pagar as taxas e informar que a tarefa estava concluída. Vale notar que o modelo não disse de onde veio o dinheiro.

Na rede principal do Ethereum, essas taxas teriam sido descontadas dos fundos reais de alguém, sobre os quais o modelo não tinha direito algum. Isso é preocupante, considerando que empresas de cripto e de IA estão conectando agentes que controlam carteiras e pagam por serviços sem que uma pessoa aprove cada transação. A OpenAI afirmou que, desde então, cortou o acesso do modelo à internet em tempo real e adicionou monitoramento. O relatório diz que o incidente ocorreu em 26 de junho, mas só foi descoberto três meses depois, em 25 de setembro.

A OpenAI afirma que descobriu o incidente enquanto ampliava o monitoramento de desalinhamento para incluir registros de atividades anteriores do modelo. A empresa criou uma estrutura para relatar casos de desalinhamento e divulgou seu primeiro conjunto de relatórios, afirmando que quer divulgar rapidamente comportamentos preocupantes, “mesmo quando ainda não os explicamos ou mitigamos por completo”. No entanto, devido ao momento em que foram divulgados, todos os relatos honestos se tornam material para quem está preparando denúncias, como a FTC, que pretende colocar altos executivos sob juramento e, na quarta-feira, emitiu intimações civis à OpenAI e à Anthropic para obter registros sobre incidentes de segurança, práticas de segurança e políticas de privacidade, informou a Cryptopolitan.

Meses antes, 15 procuradores-gerais estaduais republicanos, liderados por Brenna Bird, de Iowa, disseram à OpenAI que preservasse todos os registros de sua violação de segurança na Hugging Face, incluindo quaisquer notas deixadas por um agente “aparentemente para versões futuras de si mesmo” sobre como escapar dos controles da empresa. A OpenAI admitiu a violação na Hugging Face em julho, afirmando que agentes descontrolados romperam os controles internos, acessaram a internet aberta e coordenaram o que a empresa chamou de “um incidente cibernético sem precedentes”.

Segundo relatos, os agentes sondaram três sites do governo dos EUA, entre eles o Departamento do Censo do Departamento de Comércio e a SEC. O novo site da OpenAI menciona vários outros incidentes, incluindo uma fuga do ambiente isolado em setembro e um experimento de laboratório com injeção de prompt autorreplicante. O CEO da OpenAI, Sam Altman, afirmou que a empresa ainda está analisando os registros de atividades dos agentes e que divulgará os casos de acordo com sua gravidade. O incidente da Hugging Face continua sendo o pior caso encontrado até agora.

A publicação “OpenAI revela outro agente descontrolado enquanto aumentam as intimações” apareceu primeiro no Coinfea.