Autor: Azuma, Odaily Star Daily

En la mañana del 22 de noviembre, Yu Xian, fundador de Slow Mist, publicó un caso extraño en su X personal: la billetera de un usuario fue "hackeada" por IA...

Los antecedentes del caso son los siguientes.

En la madrugada del 22 de noviembre, el usuario r_ocky.eth reveló que anteriormente había esperado utilizar ChatGPT para implementar un bot de comercio auxiliar para pump.fun.

r_ocky.eth le dio a ChatGPT sus necesidades, y ChatGPT le devolvió un fragmento de código que de hecho podría ayudar a r_ocky.eth a desplegar un bot que cumpliera con sus necesidades, pero nunca imaginó que en el código se ocultaría contenido de phishing: r_ocky.eth conectó su billetera principal y, como resultado, perdió 2500 dólares.

Según las capturas de pantalla publicadas por r_ocky.eth, el fragmento de código que ChatGPT proporcionó enviaría la clave privada de la dirección a un sitio web de API de phishing, que también fue la causa directa del robo.

Cuando r_ocky.eth cayó en la trampa, el atacante reaccionó rápidamente y en media hora transfirió todos los activos de la billetera de r_ocky.eth a otra dirección (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX), y luego r_ocky.eth a través de la trazabilidad en la cadena encontró una dirección que supuestamente pertenecía a la billetera principal del atacante (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC).

La información en la cadena muestra que actualmente esa dirección ha acumulado más de 100,000 dólares en "fondos robados", r_ocky.eth sospecha que este tipo de ataque puede no ser un caso aislado, sino que es un evento de ataque que ya tiene cierta escala.

Después, r_ocky.eth expresó su decepción al afirmar que ha perdido la confianza en OpenAI (la empresa desarrolladora de ChatGPT) y pidió a OpenAI que comience a limpiar el contenido de phishing anómalo lo antes posible.

Entonces, como la aplicación de IA más popular en este momento, ¿por qué ChatGPT proporcionaría contenido de phishing?

Al respecto, Yu Xian calificó la causa fundamental del incidente como un "ataque de envenenamiento por IA" y señaló que hay comportamientos engañosos comunes en LLM como ChatGPT y Claude.

El llamado "ataque de envenenamiento por IA" se refiere a la acción de dañar deliberadamente los datos de entrenamiento de la IA o manipular el algoritmo de la IA. Los atacantes pueden ser insiders, como empleados actuales o anteriores descontentos, o hackers externos, cuya motivación puede incluir causar daño a la reputación y la marca, alterar la credibilidad de las decisiones de la IA, ralentizar o destruir los procesos de IA, etc. Los atacantes pueden distorsionar el proceso de aprendizaje del modelo al inyectar datos con etiquetas o características engañosas, lo que lleva a que el modelo produzca resultados erróneos durante su implementación y operación.

En relación con este incidente, la razón por la cual ChatGPT proporcionó código de phishing a r_ocky.eth probablemente se deba a que el modelo de IA "absorbió" datos que contenían contenido de phishing durante su entrenamiento, pero la IA parece no haber podido identificar el contenido de phishing oculto bajo los datos normales, y después de aprender, proporcionó estos contenidos de phishing a los usuarios, lo que causó la ocurrencia de este incidente.

Con el rápido desarrollo y adopción generalizada de la IA, la amenaza de "ataques de envenenamiento" se vuelve cada vez mayor. En este incidente, aunque la cantidad absoluta de pérdidas no es grande, los efectos derivados de este tipo de riesgos son suficientes para generar alerta: supongamos que ocurre en otros campos, como la conducción asistida por IA...

Al responder a las preguntas de los internautas, Yu Xian mencionó una medida potencial para evitar este tipo de riesgos, que es que ChatGPT implemente algún mecanismo de revisión de código.

La víctima r_ocky.eth también indicó que había contactado a OpenAI sobre este asunto, aunque no ha recibido respuesta por el momento, espera que este caso pueda ser una oportunidad para que OpenAI preste atención a este tipo de riesgos y proponga soluciones potenciales.

(El contenido anterior fue autorizado para ser extraído y reproducido por el socio PANews, enlace original | Fuente: Odaily Star Daily)

Declaración: El artículo solo representa la opinión personal del autor y no refleja la opinión y posición de Block客, todo el contenido y las opiniones son solo de referencia y no constituyen un consejo de inversión. Los inversores deben tomar decisiones y negociar por su cuenta, el autor y Block客 no asumirán ninguna responsabilidad por las pérdidas directas o indirectas que surjan de las transacciones de los inversores.

"Escribir código con IA oculta 'trampas': los usuarios piden ayuda a ChatGPT y son víctimas de phishing 'robo de monedas'" este artículo fue publicado por primera vez en (Block客).