Menurut Decrypt, alat baru bernama Nightshade dapat membantu seniman melindungi karya mereka agar tidak diambil tanpa izin oleh model AI generatif. Model-model ini, yang mendapat perhatian utama tahun ini, didasarkan pada perpustakaan besar seni yang ada dan dapat menciptakan gambar visual dengan kemampuan menakjubkan. Nightshade menggunakan serangan peracunan data yang dioptimalkan dan spesifik untuk merusak data yang diperlukan untuk melatih model AI saat dimasukkan ke dalam generator gambar.
Profesor Ben Zhao menjelaskan bahwa keracunan telah menjadi vektor serangan yang diketahui dalam model pembelajaran mesin selama bertahun-tahun, namun Nightshade unik karena meracuni model AI generatif, yang sebelumnya dianggap mustahil karena ukurannya yang besar. Alat ini menargetkan permintaan individu, seperti permintaan untuk membuat gambar naga, anjing, atau kuda, daripada menyerang keseluruhan model. Pendekatan ini melemahkan model dan menonaktifkannya dalam menghasilkan karya seni.
Untuk menghindari deteksi, teks dan gambar dalam data yang diracuni harus tampak alami dan dibuat untuk menipu pendeteksi penyelarasan otomatis dan pemeriksa manusia. Meskipun Nightshade saat ini hanyalah sebuah bukti konsep, Zhao percaya bahwa jika cukup banyak seniman yang menerapkan pil racun ini, model AI bisa runtuh dan menjadi tidak berharga.
Nightshade tidak memerlukan tindakan apa pun terhadap generator gambar AI itu sendiri, tetapi berlaku ketika model AI mencoba menggunakan data yang disertakan Nightshade. Zhao menggambarkannya sebagai bukan serangan dan lebih seperti pertahanan diri atau pagar kawat berduri. dengan tip beracun yang ditujukan untuk pengembang AI yang tidak menghormati permintaan untuk tidak ikut serta dan arahan jangan mengikis.