Newton Protocolを調べているうちに、AIエージェントについての会話でめったに出てこないあることを疑うようになりました。
ほとんどの人は、手に負えないAIを心配します。
より大きなリスクは、従順なものだと考え始めています。
ルールを破るエージェントの話ではありません。誰もきちんと考え抜いていない権限のもとで、ルールを完璧に守って動くエージェントの話です。
それは別種の失敗です。そして、AIがテキストを生成するのではなくお金を動かし始めると、無視するのがずっと難しくなります。
自律エージェントをめぐる議論の多くは、能力のことにまだ留まっています。調査できるのか。取引できるのか。業務フローを自動化できるのか。運用を管理できるのか。
それらの問いは重要ですが、より良い知能が主なボトルネックだと前提にしています。
私は、それがそうだとは納得できません。
AIエージェントに、会社の継続的なソフトウェア費用を管理する権限を与えると想像してください。仕事は無害そうに聞こえます。サブスクリプションを更新し、請求書を支払い、サービスを稼働させ続ける。
そして今から6か月後、会社が拡大し、新しいツールを10個統合し、複数の決済システムを接続し、同じエージェントにより多くの責任を委ねたと想像してください。うまくいっていて結果を出し続けたからです。
何も壊れません。
悪意のある振る舞いは見られません。
派手な取り返しのつかないミスは起きません。
それでも、権限の範囲は、当初誰も意図していなかったほど静かに大きくなっていきます。
そのシナリオは、AIが突然暴走するという一般的なイメージよりも、私には現実味があります。
自律型の経済で最初に深刻化する問題は、知能の失敗よりも権限のドリフト（ずれ）から生じるかもしれません。
ニュートン・プロトコルを見ている間、私が何度も立ち返ったのはまさにこの捉え方です。
私の注意を引いたのは、取引速度や自動化ではありませんでした。エージェントが行動する前に、エージェントが何を許されているのかを定義することに焦点が当たっていた点です。
なぜなら、エージェントが実際の経済システムと相互作用し始めると、認可は実行上のインフラになるからです。
2つの状況を考えてみてください。
最初の例では、AIエージェントは承認済みのソフトウェアベンダーに対して、毎月最大$500まで支出できます。おなじみのサービスから支払い依頼が届きます。取引は即座に通ります。
2つ目では、同じエージェントが、以前に承認されていなかった新しいベンダーからの依頼に遭遇します。エージェントが不注意や無能だからではありません。許可の枠組みが追加の検証レイヤーを強制するため、支払いが止まるのです。
摩擦は上流へ移動します。
ミスの後ではなく、ミスが起きる前にコストが見えてきます。
それは当然のことのように聞こえますが、規模を考えるまでそうでもありません。
マネージャーは1日に20件の意思決定を手作業で確認できます。
エージェントの自律的なネットワークなら、何千ものものになります。
その時点で、信頼は人間が能動的に提供するものではなくなります。信頼はシステムそのものに埋め込まれなければなりません。
私が興味深いと感じるのは、より強力な権限管理はただではない、という点です。
それらはリスクを下げますが、同時に柔軟性も下げます。
狭い境界の中で動くエージェントは、より自律的なシステムなら取り込める機会を逃す可能性があります。追加のチェックは遅延を生みます。検証が増えるほど複雑さも増します。スピードとコントロールの間には常にトレードオフがあります。
このトレードオフは、自律性の方が制約よりも売りやすいので、しばしば無視されます。
それでも制約の方が、たいてい信頼性の源になります。
簡単な思考実験をしてみてください。
今日、卓越した推論を行えるAIエージェントで、かつ無制限の支出権限を持つものと、厳格な権限境界の中で動く平均的なエージェントのどちらを選ぶなら、あなたのビジネス口座を信頼しますか？
大半の人は、想像しているよりも速く答えを出します。
そして答えは、たいてい知能よりも信頼について多くを語ります。
もしかすると、この問題に対して私は考え込みすぎているのかもしれません。あり得ます。
AI業界には、今日のボトルネックを、何か予期しない変化が風景を塗り替えるまで恒久的なものに見せる癖があります。より良いモデルなら、いずれこうした懸念の多くを減らせるかもしれません。
それでも私は、同じ観察に立ち戻ってしまいます。
成熟した経済システムは、いずれ委任された権限のための仕組みを発達させます。
企業には承認の階層があります。
銀行には認可のレイヤーがあります。
政府には監督のためのプロセスがあります。
参加者が悪意あるからではなく、明確な境界を誰も定義しない限り、権限は時間とともに拡張していくからです。
自律エージェントは、なぜそれと違うのでしょうか。
ここから、ニュートン・プロトコルは「AIプロジェクト」というより「統治の実験」のように感じ始めます。
問題は、エージェントがある行為を実行できるかどうかではありません。
問題は、そもそもその行為が許可された理由を、後から誰かが検証できるのかどうかです。
それはずっと面白くない問いです。
それが、おそらく一番重要なものでもあります。
そのレンズで考えてみて初めて、トークンが意味を持ち始めます。
ネットワークが権限の強制、行為の検証、説明責任の維持を担うなら、参加者には正直に振る舞うためのインセンティブが必要です。経済的な整合性は、信頼モデルの一部になります。別個の機能ではなく。
トークンがシステムの存在理由なのではありません。
それは、システムが解こうとしている問題の帰結です。
私の頭から離れないのは、ニュートン自体ではありません。
AIについて私たちが間違った問いを投げている可能性があります。
私たちは、AIが意思決定できるのかどうかを議論するのに莫大な時間を費やします。
私たちは、その権限が誰によって定義されたのかを問う時間を、ずっと少なくしています。
そして自律エージェントが、やがて意味のある経済活動を担うようになるなら、その2つ目の問いは、1つ目よりもはるかに多くの注目を集めることになるかもしれません。
\u003cm-68/\u003e \u003cc-70/\u003e\u003ct-71/\u003e.