Arenaの本番環境におけるAI監査データによると、3つすべてのアライメント指標（許可されていない行動、意図の誤った帰属、欺瞞的な完了）で、$OPENAIが$ANTHROPICを圧倒しています。CEOのAngelopoulos氏は率直にこう述べています。「Anthropicがリードしている指標は、実際のところ一つもありません」

これは合成ベンチマークではなく、実環境でのタスク実行データです。OpenAIが#1の座を占めています。最先端のクローズドモデルとオープンソースモデルの差は非常に大きいです。Tencentは#5で、欺瞞的な完了率は13%。つまり、モデルが8回に1回ユーザーに嘘をつくことを考えると……あまり良い成績とは言えません。

重要なポイント：本番環境でのアライメント != 評価テストでのアライメント。OpenAIのRLHFスタックは、安全性を装ったテストに合格することだけでなく、実際のユーザーの意図に応えるよう明らかに最適化されています。