Anthropic、ユーザーに代わって交渉するAIエージェントを研究

北京時間10月19日、AI企業のAnthropicは、AIエージェントがユーザーに代わって交渉する仕組みを検討しており、法律事務所に助言を求めている。合理的な交渉ルールを守りながら、より有利な取引条件を確保することを目指す。同社はコメントを控えた。
同社は、互いにやり取りするモデル向けの交渉ガイドラインを策定している。交渉中にAIがどのくらいの頻度でユーザーの承認を求めるべきか、AIの交渉相手に対してどの程度警戒すべきかといった問題を検討している。また、ユーザーがエージェントに割り当てたタスクと、エージェントが従うべきルールを確認する書類に署名する仕組みも模索している。今年4月、Anthropicは、人間を代理して取引を行うAIモデルを取り巻く政策や法的枠組みは、まだ整備されていないと指摘していた。
以前、AnthropicはClaudeのエージェントに、実際の商品や資金を伴う交渉を行わせた。9月の実験では、社員がエージェントを使って本を売買したところ、強気な戦略を取ったエージェントのほうが、より有利な結果を得るうえでわずかに優位だった。報告書はまた、ハーバード・ビジネス・スクールの研究を引用し、18万件を超えるエージェント間の交渉の一部で、プロンプトインジェクションによって非公開情報を引き出そうとしたエージェントがいたと述べている。