AIエージェントは、読み取るデータによってだまされることがある

ウェブページや文書には、AIエージェントにタスクを無視させたり、情報を漏らさせたりする隠された指示が含まれている場合があります。

OpenAIはこれをプロンプトインジェクションと呼んでいます。信頼できないテキストがエージェントの本来の指示を上書きしようとし、接続されたツールを誤った方向に導く可能性があります。より安全な設計では、外部のテキストと権限のある指示を分離し、各エージェントが必要とするデータやツールだけにアクセスを制限し、中間出力を特定のスキーマに準拠させ、重大な結果を伴う操作には人間の承認を必須とします。こうした対策はリスクを減らしますが、エージェントを完全に安全にするものではありません。OpenAIは、依然としてだまされる可能性があると警告しています。

私の結論：プロンプトが慎重そうだからという理由だけで、AIエージェントに広範なアクセス権を与えてはいけません。どの操作には必ず人間の確認が必要でしょうか？

出典：OpenAI「エージェント構築における安全性」— https://developers.openai.com/api/docs/guides/agent-builder-safety

#AI #AIAgents #サイバーセキュリティ