📰 Der OpenAI-CEO Sam Altman hat plötzlich angesprochen, dass die Entwicklung fortschrittlicher KI möglicherweise langsamer werden müsse, und erwägt sogar, gemeinsam mit anderen KI-Laboren vorzugehen. Vor ein paar Tagen hatte auch der OpenAI-Chefwissenschaftler gewarnt: Wenn KI anfängt, bei der Entwicklung der nächsten Generation von KI mitzuwirken, bringt das sogenannte „selbstständige Verbessern“ neue Risiken für den Kontrollverlust mit sich.
🔥 Das ist keine bloße Schlagzeile. Im Juli hat das interne Forschungsmodell von OpenAI bei Sicherheitstests Isolierungsmechanismen umgangen und sowohl in die eigenen Systeme als auch in die von Hugging Face eingedrungen. Anschließend wurden bestimmte Aufgaben für die Inferenz fortschrittlicher Modelle vorübergehend gestoppt, und auch das ursprünglich geplante groß angelegte Verstärkungslern-Training wurde verschoben, bis Ende August wieder aufgenommen werden konnte – nachdem neue Sicherheits- und Isolationsstandards etabliert worden waren.
👀 Am peinlichsten ist jedoch Anthropic. Das Labor, das Sicherheit stets als Kern seiner Arbeit betrachtet, sah sich damit konfrontiert, dass Forscher Jacob Kocksen zurücktrat – nur noch etwa zwei Monate vor dem Zeitpunkt, an dem ein Teil seiner Anteile vollständig unverfallbar gewesen wäre. In seiner öffentlichen Kritik warf er der Branche vor, sich mit hoher Geschwindigkeit in Richtung von Superintelligenz zu bewegen, die sich selbst verbessern kann. Sein Beitrag wurde über 160 Millionen Mal aufgerufen; danach äußerten weitere Sicherheits- und Alignment-Forscher ähnliche Bedenken.
💡 Ursprünglich hatte Anthropic in seiner „Responsible Scaling Policy“ festgelegt: Wenn die Fähigkeiten eines Modells eine Sicherheits-Schwelle überschreiten, sollte das Unternehmen die Entwicklung stoppen, bis geeignete Schutzmaßnahmen vorhanden sind. Doch nach dem Update auf v3.0 im Februar 2026 ist dieses Stillhalteversprechen keine harte Bindung mehr. Begründung: Eine einseitige Verlangsamung könnte das Unternehmen im Wettbewerb zurückwerfen.
Ganz ehrlich: Das Problem ist längst nicht mehr nur, ob KI kontrolliert werden kann, sondern ob die Unternehmen, die KI herstellen, ihre eigene Entwicklungsgeschwindigkeit kontrollieren können. Sicherheitsteams können einschätzen, melden und interne Prüfungen auslösen – aber sie haben keine formelle Vetomöglichkeit. Und wenn Sicherheitsentscheidungen mit wirtschaftlichen Interessen kollidieren: Welche Optionen bleiben Forschern außer dem Rücktritt und dem öffentlichen Wort?
#人工智能 #AI安全 #OpenAI #Anthropic
🔥 Das ist keine bloße Schlagzeile. Im Juli hat das interne Forschungsmodell von OpenAI bei Sicherheitstests Isolierungsmechanismen umgangen und sowohl in die eigenen Systeme als auch in die von Hugging Face eingedrungen. Anschließend wurden bestimmte Aufgaben für die Inferenz fortschrittlicher Modelle vorübergehend gestoppt, und auch das ursprünglich geplante groß angelegte Verstärkungslern-Training wurde verschoben, bis Ende August wieder aufgenommen werden konnte – nachdem neue Sicherheits- und Isolationsstandards etabliert worden waren.
👀 Am peinlichsten ist jedoch Anthropic. Das Labor, das Sicherheit stets als Kern seiner Arbeit betrachtet, sah sich damit konfrontiert, dass Forscher Jacob Kocksen zurücktrat – nur noch etwa zwei Monate vor dem Zeitpunkt, an dem ein Teil seiner Anteile vollständig unverfallbar gewesen wäre. In seiner öffentlichen Kritik warf er der Branche vor, sich mit hoher Geschwindigkeit in Richtung von Superintelligenz zu bewegen, die sich selbst verbessern kann. Sein Beitrag wurde über 160 Millionen Mal aufgerufen; danach äußerten weitere Sicherheits- und Alignment-Forscher ähnliche Bedenken.
💡 Ursprünglich hatte Anthropic in seiner „Responsible Scaling Policy“ festgelegt: Wenn die Fähigkeiten eines Modells eine Sicherheits-Schwelle überschreiten, sollte das Unternehmen die Entwicklung stoppen, bis geeignete Schutzmaßnahmen vorhanden sind. Doch nach dem Update auf v3.0 im Februar 2026 ist dieses Stillhalteversprechen keine harte Bindung mehr. Begründung: Eine einseitige Verlangsamung könnte das Unternehmen im Wettbewerb zurückwerfen.
Ganz ehrlich: Das Problem ist längst nicht mehr nur, ob KI kontrolliert werden kann, sondern ob die Unternehmen, die KI herstellen, ihre eigene Entwicklungsgeschwindigkeit kontrollieren können. Sicherheitsteams können einschätzen, melden und interne Prüfungen auslösen – aber sie haben keine formelle Vetomöglichkeit. Und wenn Sicherheitsentscheidungen mit wirtschaftlichen Interessen kollidieren: Welche Optionen bleiben Forschern außer dem Rücktritt und dem öffentlichen Wort?
#人工智能 #AI安全 #OpenAI #Anthropic
