人間の承認を必須にすべきなのは、どんな操作でしょうか？

AIエージェントの最大のリスクは、何を考えるかではないのかもしれません。何をすることが許されているか、という点かもしれません。

モデルは優れた計画を立てられます。しかし、金銭を使ったり、有料APIを呼び出したり、複数のサービスをまたいで行動したりできるようになると、判断ミスは単なる誤答では済まなくなります。実際の取引につながる可能性があります。

Kiteの設計で私の目を引いたのは、ユーザー、エージェント、セッションが分けられている点です。ユーザーは引き続き最上位の権限を持ち、エージェントには委任された権限が与えられ、セッションは特定のタスクや期間に限定できます。これにより、AIに手助けを頼むことと、実際に行動する力を与えることとの境界が、より明確になります。

Kiteのアプローチでは、インフラのレベルでプログラム可能な制約を設けることも重視されています。支出上限や許可された操作は、プロンプトに書いてうまくいくことを願うだけではなく、暗号学的な認可やスマートコントラクトのロジックを通じて適用されることを想定しています。

これは、金融業務におけるAIの安全性を考えるうえで、より実用的な方法だと思います。あらゆるモデルの誤りをなくすことは、おそらくできません。それでも、ひとつの誤りが自動的に無制限の権限につながらないシステムを設計することはできます。

私に残された問いは、こうです。エージェントに明確なID、限定された権限、監査可能な履歴があるとしたら、それでも人間の承認を必須にすべきなのはどんな操作でしょうか？少額のAPI利用料の支払いと、口座間の資金移動とでは、私は異なる基準を設けるでしょう。

その権限の境界は、エージェントの知能と同じくらい重要なのかもしれません。

#KiteBBW $KITE