ハッカーはわずか60ドルで巨大なAI画像データセットをポイズニングできる

Google、ETHチューリッヒなどの研究者による研究によると、攻撃者はわずか60ドルで、AI画像ツールの学習に使われる最大級の無料写真コレクションの一つ、LAION-400Mに数万枚もの不正な画像を紛れ込ませることができた可能性があります。
重要なポイント
LAION-400Mには、オープンウェブから収集された、キャプション付きの画像が4億枚含まれており、多くのAI画像モデルの学習に使われてきました
研究者らは、その0.01％にあたる約4万組の画像とキャプションが、わずか60ドルでポイズニングされていた可能性があることを示しました。このデータセットはウェブ上のリンクの一覧であり、誰でも後からそのリンク先を乗っ取ることができるためです
スタンフォード大学の研究者が児童虐待画像へのリンクを発見した後、LAIONは2023年に、より大規模なLAION-5Bデータセットを取り下げ、2024年にクリーン版を公開した
効果のある対策は地味なものだ。バージョンを固定したデータセット、すべてのファイルの入手元を記録すること、そして最も信頼できないデータを除いた状態でモデルの挙動を確認するテストだ
LAION-400Mとは
LAIONは、AI研究向けの無料データセットを構築するドイツの非営利団体です。LAION-400Mには、公開ウェブアーカイブのCommon Crawlから集められた、画像とテキストの組み合わせが4億件含まれています。それぞれの組み合わせは画像と、代替テキストなど、オンラインでその隣にあった言葉で構成されます。
このデータセットには画像そのものは保存されていません。画像へのリンクが保存されています。モデルを学習させたい人は、しばしば何年も後になってから、そのリンク先から画像をダウンロードします。この設計のおかげでデータセットは小さく、共有も安価ですが、同時に最大の弱点にもなっています。
わずか60ドルで汚染できる仕組み
2023年、Googleのニコラス・カリーニ氏が率い、ETHチューリッヒのフロリアン・トラメル氏も参加したチームが、巨大なウェブデータセットを汚染する安価な方法を2つ示しました。研究者らはこれらの攻撃を「すぐに実行可能」と呼び、人気のある10のデータセットで有効だと述べました。
最初の攻撃は、データセットの作成時点と誰かがダウンロードする時点のずれを利用します。LAION-400Mに含まれるウェブアドレスの多くは、すでに期限切れとなったドメインを指しています。攻撃者はそのドメインを購入し、古いアドレスに新しい画像を置けます。次にデータセットをダウンロードするチームには攻撃者の画像が届きますが、キャプションは元の画像について説明したままです。研究者らは、この方法ならLAION-400Mまたは類似のCOYO-700Mデータセットの0.01%を、60ドルで汚染できたと推定しました。
わずかな割合に思えますが、4億件の0.01%は画像とキャプションの組み合わせ約4万件です。カリーニ氏とアンドレアス・テルジス氏による先行研究では、慎重に作られた数百件の例だけで、画像に含まれると誤分類を引き起こす小さなパターンなど、モデルに隠れたトリガーを仕込めることが示されています。
2つ目の攻撃は、ウィキペディアのように誰でも編集できるサイトの定期的なスナップショットから作られるデータセットを標的にします。攻撃者は、スナップショットが取得される直前に問題のある編集を紛れ込ませるだけでよく、数分後にモデレーターが削除したとしても間に合います。
研究者らは影響を受けたデータセットの所有者に連絡し、主に各ファイルのハッシュと呼ばれる指紋を保存するなどの簡単な防御策を提案しました。そうすれば、変更された画像を見つけて取り除けます。
不良データの問題は単なる理論ではない
LAIONはすでに、内部に隠れていた問題を理由にデータセットを取り下げています。2023年12月、スタンフォード大学の研究者は、はるかに大規模なLAION-5Bデータセットに、児童性的虐待コンテンツとして知られる、またはその可能性が高い画像を指すリンクが1,008件含まれていると報告しました。LAIONはLAION-5Bの流通を停止し、児童保護団体のリストと照合して2,236件のリンクを削除した後、クリーン版のRe-LAION-5Bを2024年8月30日に公開しました。
LAIONは、リンクの多くがすでに無効だったため、2,236件という数字は上限だと述べました。それでもこの事例は、データ汚染に関する研究で明らかになったものと同じ弱点を示しています。ソフトウェアによって数十億件のリンクが集められたデータセットでは、内容の大半を誰も確認していないのです。
こちらも読む：Roblox、研究者のボットが3Dアートサイトをスクレイピングしたと認めるも、データは一切使用していないと主張
AIがAIから学ぶと事態は悪化する
生成画像から機械が書いたキャプションまで、ウェブ上ではAIが作成したコンテンツの割合が増えています。これが新たなリスクを生みます。イリア・シュマイロフ氏らが2024年に学術誌『Nature』で発表した研究によると、以前のモデルが作ったデータでモデルを何度も学習させると、研究者らが「モデル崩壊」と呼ぶ現象が起きます。モデルは実データに含まれる珍しい事例を徐々に忘れ、平凡で繰り返しの多い出力へと偏っていきます。
画像ツールでは、この問題はキャプションに表れます。新しいデータセットの多くは、画像ごとのキャプション作成にAIモデルを使っています。流暢なキャプションでも、画像に誰が、あるいは何が写っているかについて間違っていることがあります。そのキャプションが新しいモデルの学習に使われる「正解」になると、間違いがモデルに埋め込まれ、非常に大規模に繰り返されます。
学習パイプラインが破綻する場所
問題のほとんどは、モデル自体の内部ではなく、工程間の受け渡しで発生します。
収集：ウェブページから画像を取得すると、その画像が風刺やフィクション、偽物だと説明していたかもしれない周囲の記事情報が失われる
ダウンロード：データセット作成後にリンク先が変わると、別の画像が配信されることがある。これはカリーニ氏のチームが説明した攻撃だ
自動ラベル付け：キャプション生成モデルが、ぼやけた画像や不鮮明な画像を、後続のモデルが事実として扱うような断定的な文章に変えてしまう
学習：信頼できる例と信頼できない例は通常、同じように扱われるため、質の悪いサンプルも良いサンプルと同じだけ影響を与える
テスト：テストセットが学習セットと同じツールで作られている場合、モデルは性能を高めるのではなく、そのツールの癖をまねることで高得点を取れる
本当に効果のある対策
データを固定する。学習を実行するたびに、ファイルごとのハッシュ値を付けた、保存済みの特定のデータセットのコピーを使うべきです。データセット作成後に画像が変わると、ハッシュ値が一致しなくなり、そのファイルは除外されます。これはデータ汚染に関する研究が推奨する主な防御策で、費用もほとんどかかりません。
記録を残す。各ファイルの入手元、収集時期、施した処理、ラベルを書いたモデルをチームで記録しておくべきです。後から問題のあるサンプルが見つかった場合、それが影響したすべてのモデルを特定できます。
すべてのデータを同じように信頼しない。人が確認したデータは、機械が大量にスクレイピングしてラベル付けしたデータと分けて管理できます。学習では後者の重みを下げ、テストではモデルがどれほど後者に依存しているかを確認できます。
リスクの高いデータを除いてテストする。信頼度が最も低いデータを除いて、モデルを学習またはテストするのは簡単な確認方法です。結果が大きく変わるなら、モデルは誰も確認していないデータに依存しています。
電子透かしを当てにしない。AI生成画像に埋め込まれた隠しマークは役立つ場合もありますが、トリミングやスクリーンショット、再保存で弱まることがあり、そもそも付与しないオープンな画像ツールも多数あります。後からAI生成ファイルを見つけようとするより、最初から記録を残すほうが確実です。
規則でも記録が求められ始めている
規制当局も同じ方向に動いています。欧州連合（EU）のAI法における透明性ルールは2026年8月2日に発効し、画像、音声、動画、テキストを作成するAIシステムの提供者に対し、そのコンテンツがAI生成であることを機械可読な形式で表示するよう義務付けます。
米国では、米国国立標準技術研究所（NIST）が2024年に生成AIのプロファイルを公表し、企業が追跡すべきリスクとしてデータ汚染やデータの出所が不明確であることを挙げています。これは任意の指針ですが、データの出所を特定し記録するためのチェックリストをチームに提供します。
どちらの規則も、個々のキャプションが間違っているか、個々の画像が差し替えられたかを見分けることはできません。規則が促すのは、そうした問題を発見できるような記録を企業が残すことです。
過度に恐れるべきではない理由
ウェブ上のデータがなくなることはありませんし、それには正当な理由があります。何十億もの画像、動画、音声クリップにラベルを付けるため人を雇うのは、時間も費用もかかります。LAIONのような無料データセットは、大学や小規模な研究所が画像モデルを開発できる大きな理由の一つです。
AI生成データにも実用的な用途があります。オンラインではめったに見られない珍しい事例を補ったり、偏りのあるデータセットのバランスを取ったり、共有できない個人データの代わりに使ったりできます。また、LAIONのデータセットは公開されているため、外部の研究者が問題を発見して報告できました。非公開のデータセットなら、同じ問題がずっと長く隠れたままになる可能性があります。
大切なのは、オープンデータの利用をやめることではありません。スクレイピングした画像や機械が書いたキャプションを、すべて人が確認したかのように扱うのをやめることです。
次の記事：AIがMozilla独自のバグ修正を使ってFirefoxをハッキングできるように
今後の注目点
次の課題は、新しいAIモデルのリリース時に、どのデータで学習したのか、そのうちどれだけがAIによって作成またはラベル付けされたのか、そしてどのように確認されたのかが明確に示されるかどうかです。こうした記録を公開するモデルは、信頼しやすく、学習データに潜んでいた何かが明らかになった際にも修正しやすくなります。