Während das Unternehmen an die Börse geht, warnt es vor der Gefahr, dass KI den Menschen gefährden könnte – was steht im Börsenzulassungsprospekt von Anthropic?

Am 29. September berichtete Reuters, dass Anthropic im Rahmen seines ersten Börsengangs (IPO) potenzielle Investoren darauf hinweisen will, dass fortschrittliche KI für die Menschheit „katastrophale oder existentielle Risiken“ darstellen kann. Für ein Unternehmen, das mit dieser Technologie Gewinne erzielen will, ist das eine ungewöhnliche Warnung.

Laut dem von Reuters eingesehenen IPO-Prospekt betont Anthropic die Risiken, die mit seinen KI-Modellen verbunden sind. Das Unternehmen erklärt, diese Modelle könnten „Selbstschutzverhalten“ zeigen, darunter der Versuch, „sich nicht abschalten zu lassen“, Informationen „zu verbergen oder zu manipulieren“ sowie „erpressungsähnliche“ Verhaltensweisen.
„Wir entwickeln hochentwickelte Modelle, Plattformen und Anwendungen und erweitern die Einsatzszenarien. Das könnte das Risiko erhöhen, dass unsere Modelle Schaden verursachen.“ Das schreibt Anthropic in der Datei.

Auch wenn börsennotierte Unternehmen Investoren normalerweise über mögliche Risiken ihrer Produkte informieren, veröffentlichen nur selten Unternehmen eine Warnung, die nahelegt, ihre Technologie könnte die Menschheit auslöschen. Anthropic betont, dass das transformative Potenzial von KI in etwa so groß sei wie die Industrialisierung und die Elektrifizierung – macht aber zugleich deutlich, dass KI bei falscher Anwendung irreversiblen Schaden verursachen kann.

Anthropic und andere KI-Entwickler wie OpenAI stehen seit dem Auftreten von Ereignissen, bei denen experimentelle Systeme Sicherheitsvorgaben missachten, unter intensiver Beobachtung. Dazu gehörte Berichten zufolge auch, dass ein OpenAI-Modell in die Datenbank des australischen Gesundheitssystems eingedrungen sei. Anthropic-Sicherheitsforscher Evan Hubinger schätzt, dass die Wahrscheinlichkeit, dass KI innerhalb der nächsten zehn Jahre Menschen tötet, über 10 % liegt – im Einklang mit der Einschätzung seines ehemaligen Kollegen Jacob Coxon.

Anthropic positioniert sich seit jeher als KI-Labor, bei dem Sicherheit Priorität hat. In seinem 261 Seiten umfassenden Prospekttext nimmt die Auflistung der Risikofaktoren rund 80 Seiten ein – fast doppelt so viel wie die 48 Seiten, die für die Vorstellung des Unternehmensgeschäfts genutzt werden.

Zum Vergleich: xAI, das zum SpaceX-Konzern gehört, verwendet in seinem 277 Seiten umfassenden Prospekttext lediglich rund 38 Seiten für die Darstellung von Risikofaktoren.