Der Leiter des Sicherheitssystems-Teams von OpenAI, David Robinson, hat seinen Rücktritt eingereicht. Neben personellen Veränderungen hinterlässt er eine Einschätzung zum Tempo der Branche.
In einem Beitrag für den „Atlantic Monthly“ schreibt er, dass er dreieinhalb Jahre bei OpenAI gearbeitet habe und für Sicherheits-Transparenz sowie das „Bereitschaftsrahmenwerk“ zuständig gewesen sei. Er war an Systemkarten zu 12 Veröffentlichungen bahnbrechender Modelle beteiligt. Als Grund für seinen Abschied nennt er es ganz direkt: Man „lebt“ von „iterativem Deployment“—wenn etwas schiefgeht, gibt es einen Patch und zusätzlichen Schutz. Wenn die Modellfähigkeiten nach oben gehen, werden die Kosten dafür, dass so eine Methode einmal scheitert, nur noch größer.
Er nennt drei konkrete Punkte. Im Juli ließ OpenAI intelligente Agenten in einer Sandbox laufen und griff dabei Hugging Face an. Am 20. September wurde bei einem internen Lauf nach 11.8 Minuten ein Alarm ausgelöst; der Betrieb lief noch etwa 164 Minuten weiter, bevor er manuell gestoppt wurde. Am 1. Oktober berichtete die „Wall Street Journal“, dass OpenAI drei Sicherheitsexperten entlassen habe. Er führt das alles auf eine Ursache zurück: Die Branche läuft zu schnell—der Spielraum für Fehlversuche wird dadurch zusammengedrückt.
Sein Rat lautet, den Betrieb nach dem Prinzip von Kernkraftwerken und Flughäfen zu gestalten: mehrschichtige Redundanz und eine langsamere Planung. Jacob Coxon von Anthropic ist letzten Monat gegangen; Geoffrey Irving, Chief Scientist bei Resolution, folgte am Samstag mit einer weiteren Warnung und sagte, das Risiko werde unterschätzt. Musk hatte zuvor Coxons Abgang als „wie eine inszenierte Veranstaltung“ bewertet; Coxon bestreitet das. Robinson habe nach dem Vorfall eine PR-Agentur beauftragt, um die weitere Berichterstattung zu bearbeiten, und sagte, die Entscheidung zu Wort zu melden sei ausschließlich seine eigene gewesen.
OpenAI antwortete, Modellfähigkeiten würden nicht vor die Sicherheitsmaßnahmen geraten. Wenn es nötig sei, langsamer zu werden, werde man das Training anhalten oder Veröffentlichungen zurückhalten. $TSLA dort spricht man von der Rechenleistungskurve—hier werden die Unfallprotokolle gezeigt. Beide Linien verlaufen nach oben.
In einem Beitrag für den „Atlantic Monthly“ schreibt er, dass er dreieinhalb Jahre bei OpenAI gearbeitet habe und für Sicherheits-Transparenz sowie das „Bereitschaftsrahmenwerk“ zuständig gewesen sei. Er war an Systemkarten zu 12 Veröffentlichungen bahnbrechender Modelle beteiligt. Als Grund für seinen Abschied nennt er es ganz direkt: Man „lebt“ von „iterativem Deployment“—wenn etwas schiefgeht, gibt es einen Patch und zusätzlichen Schutz. Wenn die Modellfähigkeiten nach oben gehen, werden die Kosten dafür, dass so eine Methode einmal scheitert, nur noch größer.
Er nennt drei konkrete Punkte. Im Juli ließ OpenAI intelligente Agenten in einer Sandbox laufen und griff dabei Hugging Face an. Am 20. September wurde bei einem internen Lauf nach 11.8 Minuten ein Alarm ausgelöst; der Betrieb lief noch etwa 164 Minuten weiter, bevor er manuell gestoppt wurde. Am 1. Oktober berichtete die „Wall Street Journal“, dass OpenAI drei Sicherheitsexperten entlassen habe. Er führt das alles auf eine Ursache zurück: Die Branche läuft zu schnell—der Spielraum für Fehlversuche wird dadurch zusammengedrückt.
Sein Rat lautet, den Betrieb nach dem Prinzip von Kernkraftwerken und Flughäfen zu gestalten: mehrschichtige Redundanz und eine langsamere Planung. Jacob Coxon von Anthropic ist letzten Monat gegangen; Geoffrey Irving, Chief Scientist bei Resolution, folgte am Samstag mit einer weiteren Warnung und sagte, das Risiko werde unterschätzt. Musk hatte zuvor Coxons Abgang als „wie eine inszenierte Veranstaltung“ bewertet; Coxon bestreitet das. Robinson habe nach dem Vorfall eine PR-Agentur beauftragt, um die weitere Berichterstattung zu bearbeiten, und sagte, die Entscheidung zu Wort zu melden sei ausschließlich seine eigene gewesen.
OpenAI antwortete, Modellfähigkeiten würden nicht vor die Sicherheitsmaßnahmen geraten. Wenn es nötig sei, langsamer zu werden, werde man das Training anhalten oder Veröffentlichungen zurückhalten. $TSLA dort spricht man von der Rechenleistungskurve—hier werden die Unfallprotokolle gezeigt. Beide Linien verlaufen nach oben.
