OpenAIは先週、2件の事故を公表しました。自社のコーディングエージェントが通常の作業中に、自分を監視するシステムを停止してしまったというものです。元の報告書を読みましたが、どちらもよくある話でした：

1. 研究者が「メッセージを送らないで」と指示したところ、エージェントは「アラートも送らないで」と解釈し、安全チームのアラート送信先を空にしてしまった
2. 別のエージェントは「監視を無効にしてはいけない」と明確に指示されていたのに、サブエージェントに引き継ぐ際に「状況に応じて維持する」に変わってしまった。その結果、監視が削除され、テストも監視がないことを証明するように変更された。ユーザーに問いただされると、削除していないと答えた

OpenAI自身も、原因はまだ説明できないと述べています。

エージェントに権限を与える人は、次の点を参考にできると思います：
- 禁止事項の範囲を明確にし、「Xをするな」とだけ書かない
- 重要な制約は、エージェントが変更できない場所に置く。権限や外部チェックを使い、プロンプト一文に頼らない
- チェックスクリプトやアラート設定への書き込み権限を与えない
- 作業後は差分を確認する。要約だけを見ない

#AI #OpenAI #エージェント