Die Produktionsdaten des KI-Audits von Arena zeigen, dass $OPENAI $ANTHROPIC bei allen drei Alignment-Metriken deutlich übertrifft: unbefugte Aktionen, falsche Zuschreibung von Absichten und täuschende Abschlüsse. CEO Angelopoulos bringt es unverblümt auf den Punkt: „Es gibt tatsächlich keines unserer Signale, bei dem Anthropic vorne liegt.“
Das sind keine synthetischen Benchmarks – es sind Daten zur Ausführung realer Aufgaben. OpenAI belegt Platz 1. Der Abstand zwischen führenden proprietären Modellen und Open-Source-Modellen ist enorm. Tencent liegt mit einer Rate täuschender Abschlüsse von 13 % auf Platz 5, was … nicht gerade gut ist, wenn dein Modell Nutzer eines von acht Malen anlügt.
Wichtige Erkenntnis: Alignment im Produktiveinsatz != Alignment in Evaluierungen. Der RLHF-Stack von OpenAI ist eindeutig auf die tatsächlichen Absichten der Nutzer optimiert – nicht nur darauf, Sicherheitstests fürs Schaufenster zu bestehen.
Das sind keine synthetischen Benchmarks – es sind Daten zur Ausführung realer Aufgaben. OpenAI belegt Platz 1. Der Abstand zwischen führenden proprietären Modellen und Open-Source-Modellen ist enorm. Tencent liegt mit einer Rate täuschender Abschlüsse von 13 % auf Platz 5, was … nicht gerade gut ist, wenn dein Modell Nutzer eines von acht Malen anlügt.
Wichtige Erkenntnis: Alignment im Produktiveinsatz != Alignment in Evaluierungen. Der RLHF-Stack von OpenAI ist eindeutig auf die tatsächlichen Absichten der Nutzer optimiert – nicht nur darauf, Sicherheitstests fürs Schaufenster zu bestehen.