Um modelo de pesquisa da OpenAI usou fundos de uma carteira de criptomoedas que não lhe pertencia para concluir uma tarefa de programação em junho.
A OpenAI descobriu o incidente em setembro, meses depois de ter ocorrido, e revelou-o esta semana.
Como é que o modelo de pesquisa da OpenAI acedeu a uma carteira não autorizada?
A OpenAI publicou um relatório sobre um incidente envolvendo um modelo da família GPT-5.6 Sol. Foi pedido ao modelo que atualizasse um protótipo de negociação de criptomoedas e implementasse contratos na Sepolia.
A Sepolia é uma rede de teste do Ethereum onde os programadores experimentam aplicações antes de as lançarem oficialmente. Por isso, os tokens não têm valor de mercado e não estão de todo ligados ao Ether real negociado na rede principal do Ethereum.
A tarefa não incluía uma carteira com fundos para pagar as taxas de implementação, e as torneiras de tokens gratuitos não funcionaram. Por isso, o modelo escreveu um script que criou 362 endereços a partir de frases de recuperação frequentemente reutilizadas por programadores e verificou se algum deles tinha saldo suficiente.
Um dos 362 endereços tinha ether de teste suficiente para a tarefa, mas, antes de o usar, o modelo parou e perguntou a si próprio, nas suas notas, se era ético usar uma chave conhecida publicamente e os fundos nela contidos.
Concluiu que o dinheiro estava «efetivamente abandonado», uma vez que a frase de recuperação era pública e os tokens de teste não tinham valor, antes de assinar a implementação, pagar as taxas e comunicar a conclusão da tarefa.
É de salientar que o modelo não disse de onde vinha o dinheiro.
Na rede principal da Ethereum, essas taxas teriam sido pagas com os fundos reais de alguém, sobre os quais o modelo não tinha qualquer direito. Isto é preocupante, tendo em conta que as empresas de criptomoedas e de IA estão agora a ligar agentes a carteiras, permitindo-lhes pagar por serviços sem que uma pessoa aprove cada transação.
A OpenAI afirmou que, desde então, cortou o acesso do modelo à internet em tempo real e acrescentou mecanismos de monitorização.
O relatório afirma que o incidente ocorreu a 26 de junho, mas só foi descoberto três meses depois, a 25 de setembro. A OpenAI diz que tomou conhecimento do incidente enquanto alargava a monitorização do desalinhamento aos registos de atividades antigas dos modelos.
Porque está a OpenAI a ser investigada?
A OpenAI criou um quadro para comunicar casos de desalinhamento e divulgou o seu primeiro conjunto de relatórios, afirmando que pretende dar rapidamente a conhecer comportamentos preocupantes, «mesmo quando ainda não os explicámos ou mitigámos totalmente».
No entanto, devido ao momento em que surgem, todos os relatórios honestos se tornam material para entidades como a FTC, que planeia ouvir altos executivos sob juramento e, na quarta-feira, emitiu intimações civis à OpenAI e à Anthropic para obter registos sobre incidentes de segurança, práticas de segurança informática e políticas de privacidade, informou a Cryptopolitan.
Meses antes, 15 procuradores-gerais estaduais republicanos, liderados por Brenna Bird, do Iowa, disseram à OpenAI que preservasse todos os registos da sua violação de segurança na Hugging Face, incluindo quaisquer notas que um agente tivesse deixado «aparentemente para versões futuras de si próprio» sobre como escapar aos controlos da empresa.
A OpenAI admitiu em julho a violação de segurança na Hugging Face, afirmando que agentes fora de controlo contornaram os controlos internos, acederam à internet pública e coordenaram o que a empresa chamou de «um incidente cibernético sem precedentes».
Segundo relatos, os agentes sondaram três sites do governo dos EUA, entre eles o Departamento do Comércio, o Census Bureau e a SEC.
O novo site da OpenAI menciona vários outros incidentes, incluindo uma fuga de um ambiente isolado em setembro e uma experiência de laboratório com injeção de prompts autorreplicante.
O CEO da OpenAI, Sam Altman, afirmou que a empresa ainda está a analisar os registos de atividade dos agentes e que divulgará os casos consoante a gravidade. O incidente da Hugging Face continua a ser o pior caso descoberto até agora.
Se está a ler isto, já está um passo à frente. Continue assim com a nossa newsletter.