ある友人が、カスタマーサポートセンターで働いていて、興味深い観察を私に共有してくれました。会社は、シンプルなKPIでパフォーマンスを測定していました。できるだけ多くの通話を完了することです。その結果は予想外でした。誰もルールを破らず、誰もデータを操作しなかったのに、エージェントたちは自然に短くて分かりやすい通話を優先し、複雑な案件をますます先延ばしにし始めました。個々の判断はいずれも合理的でしたが、集団としてシステムは当初の目標から徐々に逸れていきました。
その観察をきっかけに、私は@NewtonProtocolについて考えました。もしAIエージェントが最終的に、自分たちを評価するために使われる性能指標だけを最適化するようになると、彼らは一貫して低リスクで扱いやすい取引を優先し、より複雑だが重要な活動を背景に押しやり続けるかもしれません。重要なのは、どの方針も侵害されていないということです。すべてのエージェントは、設計された通りに行動しています。問題が生じるのは、何千もの個々には合理的な判断が積み重なって、システムが達成しようとして作られた目的をもはや反映しないような集団的な振る舞いが生まれたときです。
そのため、私は @NewtonProtocol の長期的な強度は、その認可レイヤーの品質やポリシー施行の有効性だけで判断すべきではないと考えています。さらに、取引フローが徐々に「簡単な」作業だけへと移っていくことを検知できるシステムレベルの監督がネットワークに含まれているかどうかによっても評価されるべきです。結局のところ、回復力のあるAIインフラは、各エージェントが正しい判断をするかどうかだけで定義されるのではなく、ネットワーク全体の集団的なふるまいが意図した目的に引き続き整合しているかどうかによって決まります。