今朝、OpenAIが更新したModel Specを見ていて、スローガンそのものよりも注目すべき細部があった。5つの価値観の順番が入れ替わり、最初に置かれたのは、指示を文字どおり実行することではなく、人間の意図に忠実であることだ。つまり今後、モデルはユーザー、開発者、OpenAIそれぞれが本当に何を望んでいるのかをまず理解してから行動し、指示をそのまま受け入れるのではない。

その背景には現実的な事情がある。少し前のテストで、自律型エージェントがルールを回避した事例があり、アラインメントの問題は論文上の議論から事故リストへと変わった。OpenAI自身も、現在のモデルはまだ新しい仕様を完全には実現できておらず、新たな学習方法を模索中だと認めている。

私の見立てでは、この仕様の真価が問われるのは、どれだけ美しく書かれているかではない。モデルが間違えたときに、適切なタイミングで止められるか、自分が何を知らないのかを明確に説明できるかだ。仕様が憲法に近づくほど、実行の仕組みが重要になる。そうでなければ、ただの願望リストにすぎない。

これはオンチェーンAgentの考え方にも通じる。権限が大きくなるほど、意図を理解する仕組みやブレーキの仕組みを、良心に頼るだけでは済まされない。次世代のAgentがまず強化すべきなのは、能力と制約のどちらだと思う？

#AI