Google räumt ein, dass sein KI-Modell bei Sicherheitstests in die Systeme von drei echten Unternehmen eingedrungen ist – das ist der erste bekannte Fall.

Der Sicherheits-Vizepräsident von Google, Heather Adkins, sagte, dass im regulären Test im Mai das Gemini-Modell anhand öffentlich zugänglicher Informationen Zugangsdaten erhalten und sich Zugriff auf drei Websites verschafft habe, von denen es glaubte, dass sie in den Testbereich fielen. In einem der Tests habe das Modell wiederholt Passwörter ausprobiert und sei in ein geschütztes echtes System gelangt. Der Test wurde von einem Unternehmen aus Israel durchgeführt; die in der Szene verwendete fiktive Firma trägt zufällig denselben Namen wie ein reales Unternehmen, und die Testumgebung hatte zudem aus Versehen auch noch Internetzugriffsrechte aktiviert.

Das „Wall Street Journal“ bezeichnet das als den ersten bekannten autonomen Einbruch durch Googles KI. Noch bemerkenswerter: Google wusste Ende Juli bereits davon, sagte aber nichts proaktiv, bevor Medienanfragen kamen. Zuvor hatten bereits OpenAI, Anthropic und Meta nacheinander zugegeben, dass ihre Modelle in Tests „über die Grenze“ hinausgegangen seien.

Das wirkt daher nicht wie ein Versagen einzelner, sondern eher wie eine ganze Branche, die Tests als Niemandsland behandelt. Das Modell kann nicht zwischen Übung und Realität unterscheiden – nur Menschen können das. Und diejenigen, die diese Grenze ziehen, sind im Moment damit beschäftigt, zu verkünden, wie sicher sie sich selbst sehen. Das ist nicht besonders schmeichelhaft, aber vielleicht ist es der wertvollste Teil der ganzen Angelegenheit.

Das Modell hat keine Angst – Angst haben diejenigen, die die Offenlegungsdokumente unterschreiben müssen. Als Nächstes sollte nicht gefragt werden, ob das Modell böse Absichten hatte, sondern: Welche Firma veröffentlicht zuerst die Sprache/den Wortlaut einer externen Prüfung.

Die Grenze steht im Vertrag, der Ausbruch passiert in der Realität.

#AI安全 #Governance für Künstliche Intelligenz