最近私が考えていることのひとつは、賢くなっていくAIのこととは、実はあまり関係がありません。もっと静かな、別の問題です。これらのシステムが私たちの代わりにより多くの決定を行うようになると、私たちは「それが何をしたのか」は見抜くのが上手くなる一方で、「なぜそれをしたのか」を理解する力は弱くなっていきます。その違いは今日ではささやかに感じるかもしれませんが、オートメーションが広がるにつれて、はるかに大きくなるのではないかと私は考えています。ニュートン・プロトコルが私の関心を引いたのも、より多くの自動化を約束しているからというだけではありません。将来の市場が、決定そのものと同じくらい、その決定の背景となる履歴を気にするのかどうか、というより深い問いを投げかけているからです。
暗号は常に、結果を証明するのが得意でした。ある取引が起きました。ある取引が決済されました。資金が移動しました。そういったことは比較的、検証しやすいのです。しかしAIは別の層を持ち込みます。意思決定はもはや人間から直接生まれません。変化する情報、移りゆくインセンティブ、そして過去の行動に応じて動くシステムから生まれます。そのプロセスのどこかで、文脈が消え始めます。機械は動くのに、推論はほとんどすぐに失われる。私は、そこについて十分に話せていないと思います。
ここには奇妙な矛盾があります。私たちは人間の手間を減らすためにAIを作り続けているのに、あらゆる自動化の層が、その下で何が起きているのかを人間が追いかけにくくもしています。すべてが効率化される一方で、見えにくくもなるのです。もしかすると、それは許容できるトレードオフなのかもしれません。そうでないかもしれません。正直なところ、分かりません。ただ、それは「すでに適応してしまった後になって初めて明らかになる」ような、あの手の静かな変化の一つに感じられます。
それによって、検証は最初に見える以上に面白くなります。ニュートン・プロトコルのようなプロジェクトでは、検証は「何かが正しく起きたことを確認する」ことだけではありません。重要な局面で、自動化されたシステムがどう判断に至ったのかを理解できるだけの確信を、将来の参加者に十分に与えることです。もちろん、その限界はあります。暗号技術は証拠を保存できます。ですが、知恵は証明できません。完全に検証された誤りでも、やはり誤りです。
それに、私たちはゆっくりと「評判（レピュテーション）が何を意味するのか」を変えつつあるのではないかとも考えています。人間の場合、評判は通常、長い時間をかけた繰り返しの行動によって築かれてきました。AIも、そう大きくは違わないかもしれません。単発の成功した意思決定は、あまり語るところがありません。重要なのは、何百回、何千回ものやり取りの中で、その振る舞いが理解可能なままでいられるかどうかです。もしかすると、機械の信頼は知能だけから生まれないのかもしれません。もしかすると、それは、他の人々が盲目的な信頼に頼らずとも検討できるような「一貫性」から生まれるのかもしれません。
これは、どんな個別のモデルよりも大きく感じられる調整問題を生みます。AIシステムはもう、孤立して動いていません。あるエージェントの意思決定が、別のエージェントの環境を変えてしまうのです。別々の戦略が、誰も完全には計画していなかった形で互いに影響し合い始めます。突然、課題は「より良い出力を作ること」ではなくなります。意図しない不安定さを生まずに、何千もの独立したシステムを共存させること──それが課題になるのです。これは、まったく別のインフラ問題です。
市場は、そういう種類の仕事にすぐに報酬を与えないことが多いです。見えないセーフガードよりも、目に見えるプロダクトを称える傾向があります。もしインフラが静かに問題を防いでくれているなら、人々は「それが本当に必要だったわけではなかった」と思いがちです。私は、このパターンが暗号の中で繰り返されてきたのを見てきました。信頼性が話題になるのは、欠けている日になってから、ということがよくあります。
ガバナンスもまた、より複雑になります。AIが経済システムにより直接的に参加し始めると、ガバナンスは個々の行動を決める時間を減らし、代わりに許容できる境界を定義することにより多くの時間を使うかもしれません。それは筋が通っているように聞こえますが、別の緊張関係も生みます。開発者は自然と柔軟性を求めます。機関は通常、予測可能性を求めます。そのインセンティブは、必ずしも同じ方向を向きません。私は、NEWTのようなエコシステムは、最終的にはそのバランスを、決して完全に解決することなく、うまく折り合いをつけながら進んでいく必要があるのではないかと疑っています。
もう一つ、気になって仕方ないことがあります。私たちはしばしば、「より良い検証が自動的に、より大きな信頼を生む」と考えがちです。でも、それはそんなに単純ではないと思います。検証は、何が起きたかを教えてくれます。信頼は依然として人間の判断です。まったく同じ証拠を見ても、2人の人間がまったく異なる結論に到達することがあります。技術は事実に関する不確実性を減らします。しかし、意味についての不一致をなくすわけではありません。
暗号があまりにも多様な物語を経て進化していくのを見た後、私は「信頼が完全に消えてしまうことはあり得る」と誰かが言うたびに慎重になるようになりました。たいていは、それは起きません。信頼はただ、どこか別の場所へ移るだけです。たぶん、その点が私にとってニュートン・プロトコルを面白くしている理由です。特定の未来を証明するからではありません。むしろ、機械が私たちの市場を形作る意思決定の多くを担い始めたとき、信頼がどこへ行くのかを静かに問いかけてくるからです。私は確信のある答えを持っていません。ただ、この問いを無視するのが難しくなってきていることだけは分かります。@NewtonProtocol #Newt #newt $NEWT 
