Podle Decrypt by nový nástroj s názvem Nightshade mohl pomoci umělcům chránit jejich práci před sklizní bez povolení generativními modely umělé inteligence. Tyto modely, které letos získaly pozornost hlavního proudu, jsou založeny na masivních knihovnách existujícího umění a dokážou vytvářet vizuální obrazy s úžasnými schopnostmi. Nightshade využívá optimalizované, promptně specifické útoky na otravu dat k poškození dat potřebných k trénování modelů AI, když jsou vložena do generátoru obrázků.
Profesor Ben Zhao vysvětlil, že otrava je již léta známým útočným vektorem v modelech strojového učení, ale Nightshade je jedinečný, protože otravuje generativní modely umělé inteligence, což se dříve považovalo za nemožné kvůli jejich velké velikosti. Nástroj se zaměřuje spíše na jednotlivé výzvy, jako jsou požadavky na vytvoření obrázku draka, psa nebo koně, než aby útočil na celý model. Tento přístup oslabuje model a znemožňuje mu generovat umění.
Aby se zabránilo odhalení, musí text a obrázek v otrávených datech vypadat přirozeně a musí být vytvořeny tak, aby oklamaly jak automatické detektory zarovnání, tak lidské inspektory. Přestože je Nightshade v současnosti pouze důkazem konceptu, Zhao věří, že pokud tyto jedové pilulky implementuje dostatek umělců, model AI by se mohl zhroutit a stát se bezcenným.
Nightshade nevyžaduje žádnou akci proti samotnému generátoru obrazu AI, ale projeví se, když se model AI pokusí spotřebovat data, do kterých byl Nightshade zahrnut. Zhao to popsal jako menší útok a spíše jako sebeobranu nebo plot z ostnatého drátu. s jedovatými tipy zaměřenými na vývojáře umělé inteligence, kteří nerespektují požadavky na odhlášení a direktivy do-not-scrape.