Según Decrypt, una nueva herramienta llamada Nightshade podría ayudar a los artistas a proteger su trabajo para que no sea cosechado sin permiso por modelos generativos de IA. Estos modelos, que han atraído la atención generalizada este año, se basan en enormes bibliotecas de arte existente y pueden crear imágenes visuales con capacidades asombrosas. Nightshade utiliza ataques de envenenamiento de datos optimizados y específicos para corromper los datos necesarios para entrenar modelos de IA cuando se introducen en un generador de imágenes.
El profesor Ben Zhao explicó que el envenenamiento ha sido un vector de ataque conocido en los modelos de aprendizaje automático durante años, pero Nightshade es único porque envenena los modelos de IA generativa, lo que antes se pensaba que era imposible debido a su gran tamaño. La herramienta se enfoca en solicitudes individuales, como solicitudes para crear una imagen de un dragón, un perro o un caballo, en lugar de atacar a todo el modelo. Este enfoque debilita el modelo y le impide generar arte.
Para evitar la detección, el texto y la imagen dentro de los datos envenenados deben parecer naturales y estar diseñados para engañar tanto a los detectores de alineación automatizados como a los inspectores humanos. Aunque Nightshade es actualmente solo una prueba de concepto, Zhao cree que si suficientes artistas implementan estas píldoras venenosas, el modelo de IA podría colapsar y volverse inútil.
Nightshade no requiere ninguna acción contra el generador de imágenes de IA en sí, pero entra en vigor cuando el modelo de IA intenta consumir los datos en los que se ha incluido Nightshade. Zhao lo describió menos como un ataque y más como una autodefensa o una cerca de alambre de púas. con consejos envenenados dirigidos a desarrolladores de IA que no respetan las solicitudes de exclusión voluntaria y las directivas de no raspar.