Por unos 60 dólares, un atacante podría haber introducido decenas de miles de imágenes maliciosas en LAION-400M, una de las mayores colecciones gratuitas de fotos utilizadas para entrenar herramientas de generación de imágenes con IA, según un estudio de investigadores de Google, ETH de Zúrich y otras instituciones.
Puntos clave
LAION-400M contiene 400 millones de imágenes emparejadas con descripciones, recopiladas de la web abierta, y se ha utilizado para entrenar muchos modelos de generación de imágenes con IA
Los investigadores demostraron que se podría haber envenenado el 0,01 % del conjunto, unos 40.000 pares, por 60 dólares, porque el conjunto de datos es una lista de enlaces web que cualquiera puede tomar el control más adelante
LAION retiró su conjunto de datos más grande, LAION-5B, en 2023, después de que investigadores de Stanford encontraran enlaces a imágenes de abuso infantil; luego publicó una versión depurada en 2024
Las soluciones que funcionan son poco llamativas: versiones protegidas de los conjuntos de datos, registros del origen de cada archivo y pruebas que comprueben cómo se comporta un modelo sin sus datos menos confiables
Qué es LAION-400M
LAION es una organización alemana sin fines de lucro que crea conjuntos de datos gratuitos para la investigación en IA. Su lanzamiento LAION-400M contiene 400 millones de pares de imágenes y texto recopilados de Common Crawl, un archivo público de la web. Cada par consiste en una imagen y las palabras que aparecían junto a ella en internet, como su texto alternativo.
El conjunto de datos no almacena las imágenes en sí, sino enlaces a ellas. Quien quiera entrenar un modelo vuelve a descargar las imágenes desde esos enlaces, a menudo años después. Este diseño hace que el conjunto de datos sea pequeño y barato de compartir, pero también es su mayor punto débil.
Cómo se podría envenenar por 60 dólares
En 2023, un equipo dirigido por Nicholas Carlini, de Google, e integrado también por Florian Tramèr, de ETH Zúrich, mostró dos formas baratas de envenenar enormes conjuntos de datos de la web. Calificaron los ataques de «inmediatamente prácticos» y dijeron que funcionan con 10 conjuntos de datos populares.
El primer ataque aprovecha el tiempo que transcurre entre la creación de un conjunto de datos y su descarga. Muchas direcciones web de LAION-400M apuntan a dominios que ya vencieron. Un atacante puede comprar esos dominios y colocar imágenes nuevas en las direcciones antiguas. El siguiente equipo que descargue el conjunto de datos recibirá las imágenes del atacante, aunque los pies de foto sigan describiendo las originales. Los investigadores calcularon que podrían haber envenenado de esta manera el 0,01 % de LAION-400M o del conjunto similar COYO-700M por 60 dólares.
Parece poco, pero el 0,01 % de 400 millones equivale a unos 40.000 pares de imágenes y pies de foto. Investigaciones anteriores de Carlini y Andreas Terzis demostraron que unos cientos de ejemplos diseñados cuidadosamente pueden bastar para implantar un activador oculto en un modelo, como un pequeño patrón que haga que clasifique mal cualquier imagen que lo contenga.
El segundo ataque apunta a conjuntos de datos creados a partir de capturas periódicas de sitios que cualquiera puede editar, como Wikipedia. El atacante solo tiene que introducir ediciones maliciosas justo antes de que se tome una captura, aunque los moderadores las eliminen unos minutos después.
Los investigadores avisaron a los responsables de los conjuntos de datos afectados y sugirieron defensas sencillas, principalmente guardar una huella digital de cada archivo, llamada hash, para poder detectar y descartar las imágenes modificadas.
El problema de los datos incorrectos no es solo teórico
LAION ya tuvo que retirar un conjunto de datos por lo que ocultaba. En diciembre de 2023, investigadores de Stanford informaron que 1.008 enlaces del conjunto mucho más grande LAION-5B apuntaban a material conocido o presuntamente relacionado con el abuso sexual infantil. LAION retiró LAION-5B de circulación, lo contrastó con listas de organizaciones de protección infantil y eliminó 2.236 enlaces antes de publicar una versión depurada, Re-LAION-5B, el 30 de agosto de 2024.
LAION dijo que la cifra de 2.236 es un límite máximo, porque muchos de esos enlaces ya no funcionaban. El caso sigue poniendo de manifiesto la misma debilidad que detectó el estudio sobre el envenenamiento de datos. Cuando un conjunto de datos consiste en miles de millones de enlaces recopilados por programas, nadie ha revisado la mayor parte de su contenido.
También puedes leer: Roblox admite que el bot de su investigador extrajo datos de un sitio de arte 3D y afirma que nunca se usaron
Que la IA aprenda de la IA empeora el problema
Una proporción cada vez mayor de la web está creada por IA, desde imágenes generadas hasta pies de foto escritos por máquinas. Esto plantea un segundo riesgo. Un estudio de 2024 publicado en la revista Nature por Ilia Shumailov y sus colegas concluyó que los modelos entrenados una y otra vez con datos creados por modelos anteriores sufren lo que denominaron «colapso del modelo». Poco a poco olvidan los casos raros e inusuales de los datos reales y tienden a generar resultados insulsos y repetitivos.
En las herramientas de imágenes, el problema aparece en los pies de foto. Muchos conjuntos de datos nuevos usan un modelo de IA para escribir el pie de foto de cada imagen. Un pie de foto fluido puede seguir equivocándose sobre quién o qué aparece en la imagen. Si ese pie de foto se convierte en la «respuesta» de la que aprende un nuevo modelo, el error queda incorporado y se repite a gran escala.
Dónde fallan los procesos de entrenamiento
La mayoría de los problemas surgen en los traspasos entre etapas, no dentro del propio modelo.
Recopilación: una imagen extraída de una página pierde el artículo que la rodea, que quizá decía que era una sátira, ficción o una falsificación
Descarga: los enlaces que han cambiado desde que se creó el conjunto de datos pueden servir imágenes distintas; este es el ataque que describió el equipo de Carlini
Etiquetado automático: un modelo que genera pies de foto convierte una imagen borrosa o poco clara en una frase contundente que un modelo posterior trata como un hecho
Entrenamiento: los ejemplos confiables y los que no lo son suelen contar por igual, así que una muestra incorrecta tiene tanto peso como una correcta
Pruebas: si el conjunto de prueba se creó con las mismas herramientas que el de entrenamiento, un modelo puede obtener buenos resultados imitando los hábitos de esas herramientas en vez de mejorar
Qué soluciones funcionan de verdad
Protege los datos. Cada ejecución de entrenamiento debe usar una copia exacta y guardada del conjunto de datos, con un hash para cada archivo. Si una imagen cambia después de crear el conjunto de datos, el hash deja de coincidir y se omite el archivo. Esta es la principal defensa que recomienda el estudio sobre el envenenamiento de datos, y cuesta muy poco.
Deja constancia de todo. Los equipos deben registrar de dónde proviene cada archivo, cuándo se recopiló, qué se hizo con él y qué modelo generó su etiqueta. Si más adelante aparece una muestra incorrecta, podrán encontrar todos los modelos en los que se usó.
No confíes por igual en todos los datos. Los datos revisados por personas pueden mantenerse separados de los datos masivos extraídos de la web y etiquetados por máquinas. El entrenamiento puede dar menos peso al segundo grupo, y las pruebas pueden mostrar cuánto depende un modelo de él.
Haz pruebas sin los datos menos confiables. Una comprobación sencilla consiste en entrenar o probar un modelo después de retirar sus datos menos confiables. Si los resultados cambian drásticamente, el modelo se apoya en datos que nadie ha revisado.
No dependas de las marcas de agua. Las marcas ocultas en imágenes creadas por IA ayudan en algunos casos, pero los recortes, las capturas de pantalla y volver a guardar los archivos pueden debilitarlas; además, muchas herramientas de imágenes de código abierto ni siquiera las añaden. Los registros conservados desde el principio son más confiables que intentar detectar después los archivos creados por IA.
Las normas empiezan a exigir registros
Los organismos reguladores avanzan en la misma dirección. Las normas de transparencia de la Ley de IA de la Unión Europea entraron en vigor el 2 de agosto de 2026 y exigen que los proveedores de sistemas de IA que crean imágenes, audio, video o texto indiquen de forma legible por máquinas que ese contenido fue creado por IA.
En Estados Unidos, el Instituto Nacional de Estándares y Tecnología, o NIST, publicó en 2024 un perfil para la IA generativa que incluye el envenenamiento de datos y la falta de claridad sobre su procedencia entre los riesgos que las empresas deben vigilar. Es voluntario, pero ofrece a los equipos una lista de verificación para averiguar y registrar de dónde provienen sus datos.
Ninguna de las dos normas puede determinar si un pie de foto concreto es incorrecto o si se cambió una imagen en particular. Lo que sí hacen es impulsar a las empresas a conservar los registros necesarios para poder detectar esos problemas.
Por qué no hay que entrar en pánico
Los datos de la web no van a desaparecer, y hay buenas razones para ello. Pagar a personas para etiquetar miles de millones de imágenes, videos y clips de voz es lento y caro. Los conjuntos de datos gratuitos, como los de LAION, son una de las principales razones por las que las universidades y los pequeños laboratorios pueden crear modelos de imágenes.
Los datos creados por IA también tienen usos reales. Pueden aportar casos poco frecuentes que casi nunca aparecen en internet, equilibrar un conjunto de datos sesgado o sustituir datos privados que no se pueden compartir. Además, como los conjuntos de datos de LAION son abiertos, investigadores externos pudieron detectar y denunciar sus problemas. Un conjunto de datos cerrado podría ocultar los mismos problemas durante mucho más tiempo.
La idea no es dejar de usar datos abiertos, sino dejar de tratar cada imagen extraída de la web y cada pie de foto escrito por una máquina como si una persona los hubiera revisado.
Lee a continuación: La IA ya puede hackear Firefox usando las propias correcciones de errores de Mozilla
Qué conviene observar
La próxima prueba será comprobar si los nuevos modelos de IA indican claramente con qué datos se entrenaron, qué proporción de esos datos fue creada o etiquetada por IA y cómo se revisaron. Será mucho más fácil confiar en los modelos que publiquen esos registros y corregirlos cuando salga a la luz algo oculto en sus datos de entrenamiento.