DUSKのフォークテストをP95ネットワーク遅延で並べ替えているとき、あるものを観測しました。500msのアラートは有用そうに見えましたが、実際に何を捕捉しているのか確認するまでの話です。

しきい値は正確そうに聞こえても、弱い予測因子であることがあります。

DUSKネットワークについては、遅延だけで判断しません。P95遅延、パケットロス、バリデータ利用可能性にわたるROC-AUCが重要です。というのも、各シグナルはフォークとノンフォークのラウンドを分ける仕方がそれぞれ異なり得るからです。次に混同行列を見ると、部分AUCが隠してしまう誤警報、見逃したフォーク、そして「高リスクのラウンド」が実際にはどれくらい無害だったのかが分かります。

250msのしきい値はより多くのフォークイベントを捉える可能性がありますが、ノイズでシステムをあふれさせます。750msでは、精度は改善するかもしれませんが、リコールが崩壊します。500msの線はその間にありますが、「バランスしている」ことが自動的に有用とは限りません。

DUSKで重要なのは、レイテンシか非レイテンシかではなく、リスク制御とアラート量のバランスです。

また、高遅延クォーティルにおけるフォークリスクのリフトも見ます。そのグループに意味のあるフォークの集中が見られないなら、遅延は相関しているだけで、運用上は弱い可能性があります。

私の静かな疑いは単純です。DUSKトークンのセキュリティは、アラートが統計的に良さそうだから改善するのか、それとも「実際に問題になる希少な事象」を捕捉できるときだけ改善するのか？

@Dusk_Foundation #dusk $DUSK