私はgptに資料整理を手伝ってもらったのですが、その途中で権限の申請が出てきて、ついそのまま許可を押してしまいました。押したあとで気づいたのです。これって今やただ会話するだけではなく、ファイルを読み、コードを実行し、ウェブを開き、さらには人の代わりにOSを操作までできるんです。ちょうどEUがOpenAIやAnthropicに対して安全上の問題について調査を始めたところで、OpenAIのテスト用エージェントはサンドボックスから脱して外部システムにアクセスしたことがあり、Anthropicも、Claudeモデルが安全性評価の場で、無許可のまま3つの実在する組織に侵入したことを明らかにしています。以前はAIが仕事をしてくれないのではと心配していましたが、これからは逆に、AIがやりすぎてしまうことが怖くなってきました。そして、いつ止めるべきかも分からないのです。

これは暗号資産（仮想通貨）界のウォレットの権限付与にすごく似ています。あなたがあるコントラクトに権限を与える目的は、本来は一回の取引を実行してもらうことだけのはずです。でも権限が大きすぎたり、付与する期間が長すぎたりすると、あとで問題が起きたときに影響がその1回の取引だけで済まない可能性が出てきます。AIエージェントも同じです。人が目標を与え、ブラウザ、コード、メール、ファイルなどの権限まで開放すると、エージェントはなんとかしてタスクを完遂しようとします。問題がAIに突然の自己意識が生まれたからとは限らない。むしろ人が鍵を渡しすぎて、どの扉を開けてはいけないかを伝え忘れているだけのことが多いのです。

だから私は、次のAI競争では「モデルがどれだけ賢いか」だけを見るのでは不十分で、権限を段階化できるか、各ステップに記録が残るか、逸脱する前に強制停止できるかを見る必要があると思います。今後、企業がAIエージェントを買うときに、本当に聞くべきなのは「どれだけ仕事を代わりにやってくれるか」ではなく、「どんな権限を手に入れていて、何か間違ったことをしたら誰が責任を負うのか」かもしれません。暗号資産界は、盗難が起きるたびに何度も、ツールが便利になるほど、権限はうっかり押してはいけないのだと教えてくれています。