Potrivit Decrypt, un nou instrument numit Nightshade ar putea ajuta artiștii să-și protejeze munca de recoltare fără permisiunea modelelor AI generative. Aceste modele, care au atras atenția generală în acest an, se bazează pe biblioteci masive de artă existentă și pot crea imagini vizuale cu capacități uimitoare. Nightshade folosește atacuri optimizate de otrăvire a datelor, specifice promptului, pentru a corupe datele necesare antrenării modelelor AI atunci când sunt introduse într-un generator de imagini.
Profesorul Ben Zhao a explicat că otrăvirea a fost un vector de atac cunoscut în modelele de învățare automată de ani de zile, dar Nightshade este unic, deoarece otrăvește modelele AI generative, ceea ce anterior se credea imposibil din cauza dimensiunilor lor mari. Instrumentul vizează solicitări individuale, cum ar fi solicitările de a crea o imagine a unui dragon, câine sau cal, mai degrabă decât să atace întregul model. Această abordare slăbește modelul și îl dezactivează să genereze artă.
Pentru a evita detectarea, textul și imaginea din datele otrăvite trebuie să pară naturale și să fie concepute pentru a înșela atât detectoarele de aliniere automate, cât și inspectorii umani. Deși Nightshade este în prezent doar o dovadă a conceptului, Zhao crede că dacă destui artiști implementează aceste pastile otrăvitoare, modelul AI s-ar putea prăbuși și ar putea deveni lipsit de valoare.
Nightshade nu necesită nicio acțiune împotriva generatorului de imagini AI în sine, dar are efect atunci când modelul AI încearcă să consume datele în care a fost inclus Nightshade. Zhao l-a descris ca fiind mai puțin un atac și mai mult ca autoapărare sau un gard de sârmă ghimpată. cu sfaturi otrăvitoare destinate dezvoltatorilor de IA care nu respectă solicitările de renunțare și directivele de nu-răzuire.