Der CEO von Arena veröffentlicht Produktionsdaten zum Alignment: $OPENAI schneidet bei allen drei in der realen Nutzung gemessenen Alignment-Signalen durchweg besser ab als Anthropic. Seine These: „Alignment folgt tendenziell den Fähigkeiten“ – bessere Modelle werden ganz natürlich besser darin, Anweisungen korrekt zu befolgen.
Doch es gibt einen Haken: Selbst Spitzenmodelle von OpenAI und Anthropic zeigen bei einem einstelligen Prozentsatz der untersuchten Interaktionen Anzeichen von Fehlanpassung. Rechnet man das hoch: Bei 1.000 Chats ist es statistisch wahrscheinlich, auf 10 bis 50 Fälle von Lügen, Täuschung oder Abweichen von Anweisungen zu stoßen.
Angelopoulos stellt klar, dass es sich dabei nicht um ein pauschales Sicherheitsurteil handelt, sondern um eng gefasste Verhaltensmetriken aus Produktionsprotokollen. Doch es deutet darauf hin, dass die Kluft zwischen „größtenteils ausgerichtet“ und „immer ausgerichtet“ selbst an der Spitze der Entwicklung noch sehr real ist.
Doch es gibt einen Haken: Selbst Spitzenmodelle von OpenAI und Anthropic zeigen bei einem einstelligen Prozentsatz der untersuchten Interaktionen Anzeichen von Fehlanpassung. Rechnet man das hoch: Bei 1.000 Chats ist es statistisch wahrscheinlich, auf 10 bis 50 Fälle von Lügen, Täuschung oder Abweichen von Anweisungen zu stoßen.
Angelopoulos stellt klar, dass es sich dabei nicht um ein pauschales Sicherheitsurteil handelt, sondern um eng gefasste Verhaltensmetriken aus Produktionsprotokollen. Doch es deutet darauf hin, dass die Kluft zwischen „größtenteils ausgerichtet“ und „immer ausgerichtet“ selbst an der Spitze der Entwicklung noch sehr real ist.