De acordo com Decrypt, uma nova ferramenta chamada Nightshade poderia ajudar os artistas a proteger seu trabalho de ser colhido sem permissão por modelos generativos de IA. Estes modelos, que ganharam a atenção geral este ano, baseiam-se em enormes bibliotecas de arte existente e podem criar imagens visuais com capacidades surpreendentes. Nightshade usa ataques de envenenamento de dados otimizados e específicos para corromper os dados necessários para treinar modelos de IA quando eles são alimentados em um gerador de imagens.
O professor Ben Zhao explicou que o envenenamento tem sido um vetor de ataque conhecido em modelos de aprendizado de máquina há anos, mas o Nightshade é único porque envenena modelos generativos de IA, o que antes era considerado impossível devido ao seu grande tamanho. A ferramenta tem como alvo solicitações individuais, como solicitações para criar a imagem de um dragão, cachorro ou cavalo, em vez de atacar o modelo inteiro. Esta abordagem debilita o modelo e impede-o de gerar arte.
Para evitar a detecção, o texto e a imagem nos dados envenenados devem parecer naturais e ser elaborados para enganar tanto os detectores de alinhamento automatizados quanto os inspetores humanos. Embora Nightshade seja atualmente apenas uma prova de conceito, Zhao acredita que se um número suficiente de artistas implementar essas pílulas venenosas, o modelo de IA poderá entrar em colapso e se tornar inútil.
Nightshade não requer nenhuma ação contra o gerador de imagem de IA em si, mas entra em vigor quando o modelo de IA tenta consumir os dados nos quais Nightshade foi incluído. Zhao descreveu isso menos como um ataque e mais como autodefesa ou uma cerca de arame farpado com dicas venenosas destinadas a desenvolvedores de IA que não respeitam solicitações de exclusão e diretivas de não raspar.