まだ自分でもうまく説明できていない何かについて、ずっと考え続けています。
最初は、哲学的な話に聞こえました。
今、それがインフラ的なもののように感じられてきました。
長い間、AIシステムのスケーリングとは主に能力のスケーリングを意味すると考えていました。
より高速な実行。
より高速な連携。
環境をまたいだより速い適応。
そこは信じるのは簡単でした。
今気になって仕方ないのは、もっと静かな何かです。
自律システムは、スケールするにつれて具体的に何を継承するのでしょうか？
指示は？
それとも、指示の裏にあるためらいでしょうか？
もう、それらが同じものだとは思えない。
制度は、論理だけから作られたことがないから。
彼らは、蓄積された圧力から作られた。
繰り返される失敗。
業務上の傷。
無害だった許可が、規模にさらされて無害ではなくなった瞬間。
ほとんどのシステムは、最終ルールを保つ。
ルールを生み出した緊張を保ち続けるものは、ほんのわずかだ。
「ポリシーは生き残った。
ポリシーの背後にあるためらいは、たいてい存在していなかった。
あの一文は、私が想像していたより長く、私の中に居座っている。
機械は実行を非常にうまく引き継ぐから。
私は、彼らが自制を引き継ぐのだと確信できなくなっている。
そして、おそらくその違いは、自律システムが金融環境全体で人間のためらいがそれらを鈍らせることなく、継続的に稼働し始める直前まで、ほとんど見えないままでいるのだろう。
最初は、より強力な監視システムが、いずれこのほとんどを補ってくれるのだろうと思った。
今は、あまり確信がない。
監視は、すでに実行が起きた後で行動を解釈するのに十分な時間があるとまだ前提にしている。
自律した金融は、その時間枠を激しく圧縮する。
実行が速くなるほど、その後に信頼が存在するための時間は減る。
書き下ろすと、その部分は小さく感じられる。
それがいつまでも小さいままでいるとは思えない。
制度的な信頼は、成功した行動だけから作られたことがないから。
それはまた、起こらなかった出来事から作られてもいた。
許可が拒否された。
要求が遅延した。
見える被害が現れる前に引き金が引かれるエスカレーション。
「行動の欠如は、目に見えない判断を含んでいることが多い。」
成功した自制は証拠を残すことが稀だから、その行に私は何度も立ち返ってしまう。
スループットはグラフを生む。活動は順位を生む。予防はたいてい、何もないかのように静かにインフラへ消えていく。
それによって奇妙な歪みが生まれる。
システムは、見える実行によって競い合う一方で、より価値のある層は、実行が可能になる前に、あらゆるものの中でふるいにかけられているうちに内側にとどまることがあり得る。
そして、私はほとんどのインフラがそれに最適化されていないのではないかと思う。
特に、AIエージェントがツールのように振る舞うのをやめ、環境をまたいで継続的に調整する、持続的な経済的主体のように振る舞い始めたときには。
やがて問題が、自律システムが正しく実行できるかどうかではなくなるかもしれないから。
より難しい問題は、何十年もの高価な制度的失敗を手作業で引き継がないまま、業務上の判断を引き継げるかどうかになるのかもしれない。
そして私は、それでも実現できないとしたら何が起きるのかを考え続けている。
「機械は命令を引き継ぐ。
制度は傷を引き継ぐ。”
その一文にとどまっている時間が長いほど、重く感じる。
傷は非効率ではないから。
それらは圧縮された記憶だ。
失敗したものについての記憶。
圧力の下で何が壊れたのかという記憶。
どの許可が、規模にさらされてから危険になったのかという記憶。
失敗が高くついたので、制度はその教訓をゆっくり学んだ。
自律システムは別の方法で学習する。
彼らは不確実性を処理する。
その区別は、最初に見えたときよりも、ずっと重要に感じ続けている。
これが部分的に、@NewtonProtocol keepsが私の考える認可レイヤーについての見方を変え続けている理由です。自律した金融をより見るほど、認可はアクセス制御のように感じるというより、プログラム可能な制度の記憶のように感じられてくるのです。
単なる許可システムではない。
不可逆な実行が起きる前に、生き残る行動上の境界。
機械の速度での協調が、事後の解釈を完全に上回り始めるなら、たぶんそれが必要になるのだろう。
あるいは、インフラは、ためらいはシステムの内側に自然に常に存在するはずだと、まだ前提にしているのかもしれない。
もう、完全には確信できない。
今はもう、オートメーションを同じように見られないことだけは分かっている。
より能力の高い自律システムが増えるほど、欠けたためらいが危険に見えてくる。
そして私は、将来の金融システムが、実行そのものよりも、実行が取り返しのつかないものになる前に判断を保ち続ける能力で、より競い合うようになるのではないかと思い続けている。
業界がその可能性に、まだ十分に適応できているとは思えない。