Autor: Azuma, Odaily Planet Daily
Na manhã de 22 de novembro, Yu Xian, fundador da Slow Mist, postou em seu pessoal X um caso curioso - a carteira de um usuário foi 'hackeada' pela IA...
O desenrolar do caso é o seguinte.
Na madrugada de 22 de novembro, o internauta r_ocky.eth revelou que anteriormente esperava utilizar o ChatGPT para criar um bot de negociação auxiliar para pump.fun.
r_ocky.eth forneceu suas necessidades ao ChatGPT, que por sua vez retornou um código, e esse código realmente poderia ajudar r_ocky.eth a implantar um bot que atendesse suas necessidades, mas ele nunca imaginou que o código escondia um conteúdo de phishing - r_ocky.eth conectou sua carteira principal e, por isso, perdeu 2500 dólares.
A partir das capturas de tela postadas por r_ocky.eth, o código fornecido pelo ChatGPT enviaria a chave privada do endereço para um site API de phishing, que foi a causa direta do roubo.
Enquanto r_ocky.eth caía na armadilha, os atacantes reagiram rapidamente, transferindo todos os ativos da carteira de r_ocky.eth para outro endereço (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX) em menos de meia hora. Logo após, r_ocky.eth rastreou na blockchain e encontrou um endereço que parecia ser a carteira principal do atacante (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC).
As informações na blockchain mostram que esse endereço atualmente acumulou mais de 100 mil dólares em 'bens roubados', levando r_ocky.eth a suspeitar que esse tipo de ataque pode não ser um caso isolado, mas sim um evento de ataque de certa escala.
Após o ocorrido, r_ocky.eth expressou descontentamento e afirmou que perdeu a confiança na OpenAI (empresa desenvolvedora do ChatGPT) e pediu que a OpenAI tomasse medidas para limpar rapidamente o conteúdo de phishing anômalo.
Então, como a aplicação de IA mais popular do momento, por que o ChatGPT estaria fornecendo conteúdo de phishing?
Nesse sentido, Yu Xian qualificou a causa raiz do incidente como um "ataque de envenenamento de IA" e apontou que existem comportamentos enganosos generalizados em LLMs como ChatGPT e Claude.
O chamado "ataque de envenenamento de IA" refere-se ao ato de deliberadamente corromper dados de treinamento de IA ou manipular algoritmos de IA. Os atacantes podem ser insiders, como funcionários atuais ou antigos insatisfeitos, ou hackers externos, cujos motivos podem incluir causar danos à reputação e à marca, distorcer a credibilidade das decisões da IA, desacelerar ou interromper o processo de IA, entre outros. Os atacantes podem distorcer o processo de aprendizado do modelo inserindo dados com rótulos ou características enganosas, levando o modelo a produzir resultados errôneos quando implantado e operado.
Com base neste incidente, a razão pela qual o ChatGPT forneceu a r_ocky.eth o código de phishing pode ser que o modelo de IA 'absorveu' dados que continham conteúdo de phishing durante o treinamento, mas a IA aparentemente não conseguiu reconhecer o conteúdo de phishing oculto sob os dados regulares, e depois que a IA aprendeu, acabou fornecendo esse conteúdo de phishing aos usuários, resultando neste incidente.
Com o rápido desenvolvimento e adoção generalizada da IA, a ameaça de "ataques de envenenamento" está se tornando cada vez maior. Neste incidente, embora o valor absoluto da perda não seja grande, a extensão do risco pode ser suficiente para gerar alerta - supondo que ocorra em outros campos, como a condução assistida por IA...
Ao responder a perguntas de internautas, Yu Xian mencionou uma possível medida para evitar esse tipo de risco, que seria a adição de algum mecanismo de auditoria de código ao ChatGPT.
A vítima r_ocky.eth também afirmou que entrou em contato com a OpenAI sobre o assunto, embora ainda não tenha recebido uma resposta, espera que este caso possa ser uma oportunidade para a OpenAI dar atenção a esse tipo de risco e apresentar potenciais soluções.
(O conteúdo acima é um extrato e reprodução autorizado do parceiro PANews, link original | Fonte: Odaily Planet Daily)
Declaração: O artigo representa apenas a opinião pessoal do autor e não representa a visão e posição do Block客. Todo o conteúdo e opiniões são apenas para referência e não constituem aconselhamento de investimento. Os investidores devem tomar suas próprias decisões e realizar suas transações, o autor e o Block客 não assumem qualquer responsabilidade por perdas diretas ou indiretas resultantes das transações dos investidores.
"Escrever código com IA esconde 'armadilhas': usuário pede ajuda ao ChatGPT, mas acaba sendo vítima de phishing 'roubo de moedas'" este artigo foi publicado pela primeira vez no (Block客).