Secondo Decrypt, un nuovo strumento chiamato Nightshade potrebbe aiutare gli artisti a proteggere il proprio lavoro dall’essere raccolti senza permesso da modelli di intelligenza artificiale generativa. Questi modelli, che quest’anno hanno attirato l’attenzione del pubblico, si basano su enormi librerie di arte esistente e possono creare immagini visive con capacità sorprendenti. Nightshade utilizza attacchi di data-avvelenamento ottimizzati e specifici per i prompt per corrompere i dati necessari per addestrare i modelli di intelligenza artificiale quando vengono immessi in un generatore di immagini.
Il professor Ben Zhao ha spiegato che l'avvelenamento è un vettore di attacco noto da anni nei modelli di apprendimento automatico, ma Nightshade è unico perché avvelena i modelli di intelligenza artificiale generativa, cosa che in precedenza si riteneva impossibile a causa delle loro grandi dimensioni. Lo strumento si rivolge a richieste individuali, come le richieste di creare un'immagine di un drago, un cane o un cavallo, anziché attaccare l'intero modello. Questo approccio debilita il modello e gli impedisce di generare arte.
Per evitare il rilevamento, il testo e l'immagine all'interno dei dati avvelenati devono apparire naturali ed essere realizzati per ingannare sia i rilevatori di allineamento automatizzati che gli ispettori umani. Sebbene Nightshade sia attualmente solo una prova di concetto, Zhao ritiene che se un numero sufficiente di artisti implementasse queste pillole avvelenate, il modello di intelligenza artificiale potrebbe collassare e diventare inutile.
Nightshade non richiede alcuna azione contro il generatore di immagini AI stesso, ma ha effetto quando il modello AI tenta di consumare i dati in cui Nightshade è stato incluso. Zhao lo ha descritto meno come un attacco e più come un'autodifesa o un recinto di filo spinato. con suggerimenti velenosi rivolti agli sviluppatori di intelligenza artificiale che non rispettano le richieste di opt-out e le direttive di non-scrape.