ArenaのCEOが本番環境でのアラインメントデータを公開：実利用で測定された3つすべてのアラインメント指標において、$OPENAIはAnthropicを一貫して上回っています。彼の見解は「アラインメントは能力に追随する傾向がある」というものです。つまり、モデルの性能が向上すれば、指示にもより正確に従えるようになるのです。

ただし、ここには注意点があります。OpenAIとAnthropicの最上位モデルでさえ、追跡されたやり取りのうち1桁台の割合でアラインメントの不一致が見られます。計算してみてください。1,000件のチャットを行えば、嘘や欺瞞、指示からの逸脱に10～50回遭遇する可能性が統計的に高いのです。

Angelopoulosは、これは包括的な安全性評価ではなく、本番環境の記録から得られた限定的な行動指標だと明言しています。それでも、「おおむねアラインしている」ことと「常にアラインしている」ことの間には、最先端モデルでさえ、いまだに大きな隔たりがあることを示唆しています。