Hacker könnten einen riesigen KI-Fotodatensatz für nur 60 Dollar vergiften

Für etwa 60 Dollar hätte ein Angreifer Zehntausende manipulierte Bilder in LAION-400M einschleusen können, eine der größten kostenlosen Fotosammlungen zum Trainieren von KI-Bildtools. Das geht aus einer Studie von Forschenden von Google, der ETH Zürich und anderen Einrichtungen hervor.
Die wichtigsten Erkenntnisse
LAION-400M umfasst 400 Millionen Bilder mit zugehörigen Bildunterschriften, die aus dem offenen Web stammen. Der Datensatz wurde zum Trainieren vieler KI-Bildmodelle verwendet.
Forschende zeigten, dass 0,01 % davon – etwa 40.000 Bild-Text-Paare – für 60 Dollar hätten vergiftet werden können, weil der Datensatz aus Weblinks besteht, die später von beliebigen Personen übernommen werden können
LAION zog seinen größeren Datensatz LAION-5B 2023 zurück, nachdem Forschende der Stanford University Links zu Missbrauchsdarstellungen von Kindern gefunden hatten. 2024 veröffentlichte die Organisation eine bereinigte Version.
Die wirksamen Lösungen sind unspektakulär: festgeschriebene Datensatzversionen, Aufzeichnungen zur Herkunft jeder Datei und Tests, die das Verhalten eines Modells ohne seine am wenigsten vertrauenswürdigen Daten überprüfen
Was ist LAION-400M?
LAION ist eine deutsche gemeinnützige Organisation, die kostenlose Datensätze für die KI-Forschung erstellt. Die veröffentlichte Version LAION-400M umfasst 400 Millionen Bild-Text-Paare aus Common Crawl, einem öffentlichen Webarchiv. Jedes Paar besteht aus einem Bild und den Wörtern, die online daneben standen, etwa dem Alternativtext.
Der Datensatz speichert nicht die Bilder selbst, sondern Links zu ihnen. Wer ein Modell trainieren möchte, lädt die Bilder über diese Links erneut herunter, oft Jahre später. Dadurch bleibt der Datensatz klein und lässt sich kostengünstig weitergeben, doch genau darin liegt auch seine größte Schwachstelle.
Wie 60 Dollar den Datensatz vergiften könnten
2023 zeigte ein Team unter der Leitung von Nicholas Carlini von Google, zu dem auch Florian Tramèr von der ETH Zürich gehörte, zwei kostengünstige Möglichkeiten, riesige Webdatensätze zu vergiften. Die Angriffe seien „sofort praktisch anwendbar“, erklärten die Forschenden, und funktionierten bei zehn beliebten Datensätzen.
Der erste Angriff nutzt die Zeitspanne zwischen der Erstellung eines Datensatzes und dem Herunterladen durch andere aus. Viele der Webadressen in LAION-400M verweisen auf Domains, deren Registrierung inzwischen abgelaufen ist. Ein Angreifer kann diese Domains kaufen und an den alten Adressen neue Bilder hinterlegen. Das nächste Team, das den Datensatz herunterlädt, erhält dann die Bilder des Angreifers, während die Bildunterschriften weiterhin die ursprünglichen Bilder beschreiben. Die Forschenden schätzten, dass sie auf diese Weise für 60 Dollar 0,01 % von LAION-400M oder des ähnlichen Datensatzes COYO-700M hätten vergiften können.
Das klingt nach wenig, doch 0,01 % von 400 Millionen sind etwa 40.000 Bild-Text-Paare. Frühere Untersuchungen von Carlini und Andreas Terzis zeigten, dass einige Hundert sorgfältig konstruierte Beispiele ausreichen können, um einen versteckten Auslöser in einem Modell zu platzieren – etwa ein kleines Muster, das bewirkt, dass das Modell jedes Bild, auf dem es vorkommt, falsch einordnet.
Der zweite Angriff zielt auf Datensätze, die aus regelmäßigen Schnappschüssen von Webseiten erstellt werden, die jeder bearbeiten kann, etwa Wikipedia. Ein Angreifer muss lediglich kurz vor der Aufnahme eines Schnappschusses schädliche Änderungen einschleusen – selbst wenn Moderatoren sie wenige Minuten später wieder entfernen.
Die Forschenden informierten die betroffenen Datensatzbetreiber und empfahlen einfache Schutzmaßnahmen. Vor allem sollte für jede Datei ein Fingerabdruck, ein sogenannter Hash, gespeichert werden, damit geänderte Bilder erkannt und aussortiert werden können.
Das Problem mit fehlerhaften Daten ist nicht nur theoretisch
LAION musste bereits einen Datensatz wegen der darin verborgenen Inhalte zurückziehen. Im Dezember 2023 meldeten Forschende der Stanford University 1.008 Links im deutlich größeren Datensatz LAION-5B, die auf bekannte oder mutmaßliche Missbrauchsdarstellungen von Kindern verwiesen. LAION nahm LAION-5B aus dem Verkehr, prüfte den Datensatz anhand von Listen von Kinderschutzorganisationen und entfernte 2.236 Links. Am 30. August 2024 veröffentlichte die Organisation eine bereinigte Version namens Re-LAION-5B.
LAION erklärte, die Zahl 2.236 sei eine Obergrenze, da viele dieser Links bereits nicht mehr funktionierten. Der Fall zeigt dennoch dieselbe Schwachstelle wie die Studie zur Datenvergiftung: Wenn ein Datensatz aus Milliarden von Links besteht, die von Software gesammelt wurden, hat sich niemand den Großteil der darin enthaltenen Inhalte angesehen.
Ebenfalls lesenswert: Roblox gibt zu, dass der Bot eines Forschers eine 3D-Kunstseite abgegrast hat, beteuert aber, die Daten seien nie verwendet worden
Wenn KI von KI lernt, wird es schlimmer
Ein wachsender Anteil des Internets wird inzwischen von KI erzeugt – von generierten Bildern bis hin zu maschinell verfassten Bildunterschriften. Das birgt ein weiteres Risiko. Eine 2024 in der Zeitschrift Nature veröffentlichte Studie von Ilia Shumailov und Kollegen ergab, dass Modelle, die immer wieder mit Daten trainiert werden, die von früheren Modellen erzeugt wurden, einen sogenannten „Modellkollaps“ erleiden. Sie vergessen nach und nach die seltenen und ungewöhnlichen Fälle in den realen Daten und erzeugen zunehmend eintönige, sich wiederholende Ausgaben.
Bei Bildtools zeigt sich das Problem in Bildunterschriften. Viele neue Datensätze verwenden ein KI-Modell, um zu jedem Bild eine Bildunterschrift zu verfassen. Eine flüssig formulierte Bildunterschrift kann trotzdem falsch wiedergeben, wer oder was auf dem Bild zu sehen ist. Wird diese Bildunterschrift zur „Antwort“, von der ein neues Modell lernt, verfestigt sich der Fehler und wiederholt sich in riesigem Umfang.
Wo Trainingspipelines versagen
Die meisten Probleme entstehen bei den Übergaben zwischen den einzelnen Schritten, nicht im Modell selbst.
Sammlung: Ein Bild, das von einer Webseite übernommen wird, verliert den umgebenden Artikel, in dem vielleicht stand, dass es sich um Satire, Fiktion oder eine Fälschung handelte
Download: Links, die sich seit der Erstellung des Datensatzes geändert haben, können andere Bilder liefern – genau den Angriff, den Carlini und sein Team beschrieben haben
Automatische Beschriftung: Ein Bildunterschriftenmodell macht aus einem unscharfen oder unklaren Bild einen selbstsicheren Satz, den ein späteres Modell als Tatsache behandelt
Training: Vertrauenswürdige und nicht vertrauenswürdige Beispiele werden in der Regel gleich gewichtet. Ein schlechtes Beispiel hat also genauso viel Einfluss wie ein gutes
Testen: Wurde der Testsatz mit denselben Tools wie der Trainingssatz erstellt, kann ein Modell gut abschneiden, indem es die Eigenheiten dieser Tools nachahmt, anstatt tatsächlich besser zu werden
Welche Lösungen tatsächlich funktionieren
Daten festschreiben. Jeder Trainingslauf sollte auf eine bestimmte, gespeicherte Kopie des Datensatzes verweisen, mit einem Hash für jede Datei. Ändert sich ein Bild nach der Erstellung des Datensatzes, stimmt der Hash nicht mehr überein und die Datei wird übersprungen. Das ist die wichtigste Abwehrmaßnahme, die die Studie zu Datenvergiftung empfiehlt, und sie kostet kaum etwas.
Alles dokumentieren. Teams sollten festhalten, woher jede Datei stammt, wann sie gesammelt wurde, was mit ihr gemacht wurde und welches Modell ihre Beschriftung erstellt hat. Taucht später ein schlechtes Beispiel auf, können sie herausfinden, mit welchen Modellen es in Berührung kam.
Nicht allen Daten gleich stark vertrauen. Von Menschen geprüfte Daten können getrennt von großen Datenmengen aufbewahrt werden, die automatisch aus dem Netz gesammelt und von Maschinen beschriftet wurden. Beim Training kann die zweite Gruppe geringer gewichtet werden, und Tests können zeigen, wie stark ein Modell von ihr abhängt.
Ohne den riskanten Teil testen. Eine einfache Prüfung besteht darin, ein Modell ohne seine am wenigsten vertrauenswürdigen Daten zu trainieren oder zu testen. Ändern sich die Ergebnisse dadurch drastisch, stützt sich das Modell auf Daten, die niemand überprüft hat.
Nicht auf Wasserzeichen verlassen. Versteckte Markierungen in KI-generierten Bildern helfen in manchen Fällen, doch Zuschneiden, Screenshots und erneutes Speichern können sie abschwächen, und viele frei verfügbare Bildtools fügen sie überhaupt nicht hinzu. Von Anfang an geführte Aufzeichnungen sind zuverlässiger, als später zu versuchen, KI-generierte Dateien zu erkennen.
Regeln verlangen zunehmend Dokumentation
Auch die Regulierungsbehörden bewegen sich in dieselbe Richtung. Die Transparenzvorschriften des KI-Gesetzes der Europäischen Union traten am 2. August 2026 in Kraft. Sie verpflichten Anbieter von KI-Systemen, die Bilder, Audio, Videos oder Texte erstellen, diese Inhalte maschinenlesbar als KI-generiert zu kennzeichnen.
In den Vereinigten Staaten veröffentlichte das National Institute of Standards and Technology (NIST) 2024 ein Profil für generative KI, in dem Datenvergiftung und unklare Datenherkunft als Risiken aufgeführt werden, die Unternehmen im Blick behalten sollten. Das Profil ist freiwillig, bietet Teams aber eine Checkliste, um herauszufinden und zu dokumentieren, woher ihre Daten stammen.
Keine der beiden Regelungen kann feststellen, ob eine einzelne Bildunterschrift falsch ist oder ein einzelnes Bild ausgetauscht wurde. Sie bewirken jedoch, dass Unternehmen Aufzeichnungen führen, die dabei helfen, solche Probleme aufzuspüren.
Warum Panik fehl am Platz ist
Webdaten werden nicht verschwinden, und dafür gibt es gute Gründe. Milliarden von Bildern, Videos und Sprachaufnahmen von Menschen beschriften zu lassen, ist langsam und teuer. Kostenlose Datensätze wie jener von LAION sind ein wichtiger Grund dafür, dass Universitäten und kleine Labore überhaupt Bildmodelle entwickeln können.
Auch KI-generierte Daten sind durchaus nützlich. Sie können seltene Fälle ergänzen, die im Internet kaum vorkommen, einen unausgewogenen Datensatz ausgleichen oder private Daten ersetzen, die nicht geteilt werden dürfen. Und weil die Datensätze von LAION offen sind, konnten externe Forschende ihre Probleme finden und melden. In einem geschlossenen Datensatz könnten dieselben Probleme viel länger verborgen bleiben.
Es geht nicht darum, offene Daten nicht mehr zu verwenden. Es geht darum, nicht jedes aus dem Netz gesammelte Bild und jede maschinell verfasste Bildunterschrift so zu behandeln, als hätte ein Mensch sie überprüft.
Weiterlesen: KI kann Firefox jetzt mithilfe von Mozillas eigenen Fehlerbehebungen hacken
Worauf es jetzt ankommt
Der nächste Test ist, ob bei der Veröffentlichung neuer KI-Modelle klar angegeben wird, mit welchen Daten sie trainiert wurden, welcher Anteil davon von einer KI erstellt oder beschriftet wurde und wie die Daten überprüft wurden. Modellen, zu denen solche Angaben veröffentlicht werden, lässt sich viel leichter vertrauen – und sie lassen sich leichter korrigieren, wenn etwas bislang Verborgenes in ihren Trainingsdaten ans Licht kommt.