ポリシーエンジンにおける「信頼性（reliability）」が、指標として測定される際に誤って測られてしまうことについて、ある点に気づきました。
ほとんどのプロジェクトが稼働率（uptime）を公開しています。システムが全体のどれだけの時間稼働できているか（何％）を示すものです。ですが、uptime はエンジンが動いているかどうかは伝えてくれても、それが正しく動いているかどうかは教えてくれません。ポリシーエンジンは 99.9% の uptime を持っていても、もしそのポリシー自体に脆弱性があれば、数千件のリクエストを誤って承認してしまうことがあります。本当の信頼性（reliability）はシステムが生きているかどうかではなく、それが正しい判断を下せるかどうかにあります。
@NewtonProtocol 評価されたリクエスト数や処理速度といった指標を公表している——システムの稼働状況を示す数字はある。しかし、意思決定の正確さについての指標はまだない。つまり、後になって正しいと確認されたアテステーションの数、リスクのある行為を誤って通してしまったために、どれだけのポリシーが修正される必要があったのか——そうした指標はまだ示されていない。
自己反論： 「正しい意思決定」を測るのは、稼働率（アップタイム）を測るよりずっと難しい——時間が必要で、事後検証（ハイブチェック）専用の仕組みも要る。そして、たとえニュートン自身でも、それを構築できていない可能性がある。$NEWT 現時点では、評価のボリュームに基づく価値を反映しているだけで、その評価の質までは反映できていない。
評価ボリュームが大きいほど、普及の程度は予測できることが多い。だが、精度は予測できない。
私は、ニュートンがポリシーの本当の正確さに関する指標を公表するのを待っている——処理したリクエスト数ではなく。