Decrypt によると、Nightshade という新しいツールは、アーティストが自分の作品が生成 AI モデルによって許可なく収集されるのを防ぐのに役立つ可能性があるとのことです。今年、主流の注目を集めたこれらのモデルは、既存のアートの膨大なライブラリに基づいており、驚くべき機能で視覚的な画像を作成できます。Nightshade は、最適化されたプロンプト固有のデータ汚染攻撃を使用して、画像ジェネレーターに入力された AI モデルのトレーニングに必要なデータを破損します。

ベン・チャオ教授は、ポイズニングは長年機械学習モデルにおける既知の攻撃ベクトルであったが、Nightshade は、以前はサイズが大きいため不可能だと考えられていた生成 AI モデルにポイズニングを施すという点でユニークであると説明した。このツールは、モデル全体を攻撃するのではなく、ドラゴン、犬、馬の画像を作成するというリクエストなど、個々のプロンプトをターゲットにする。このアプローチはモデルを弱体化させ、アートを生成できないようにする。

検出を回避するには、汚染されたデータ内のテキストと画像は自然に見える必要があり、自動位置合わせ検出器と人間の検査員の両方を欺くように作成する必要があります。Nightshade は現在概念実証に過ぎませんが、十分な数のアーティストがこれらのポイズン ピルを実装すれば、AI モデルが崩壊して価値がなくなる可能性があると Zhao 氏は考えています。

Nightshade は AI 画像ジェネレーター自体に対するアクションを必要としませんが、AI モデルが Nightshade が含まれているデータを使用しようとしたときに有効になります。Zhao 氏はこれを攻撃というよりは、オプトアウト要求やスクレイピング禁止指示を尊重しない AI 開発者を狙った自己防衛や毒の先端が付いた有刺鉄線のフェンスのようなものだと説明しました。