Observé algo mientras ordenaba las pruebas de horquillas DUSK por la demora de red P95. La alerta de 500 ms parecía útil hasta que comprobé qué era en realidad lo que estaba detectando.
Un umbral puede sonar preciso y aun así ser un mal predictor.
Para DUSK Network, no juzgaría solo la latencia. Importa el ROC-AUC en la demora P95, la pérdida de paquetes y la disponibilidad del validador, porque cada señal puede separar de forma distinta las rondas con horquilla y las que no. Luego, la matriz de confusión muestra la parte AUC que puede ocultar falsas alarmas, horquillas omitidas y con qué frecuencia una ronda de alto riesgo era realmente inofensiva.
El umbral de 250 ms puede detectar más eventos de horquilla, pero inunda el sistema con ruido. Con 750 ms, la precisión puede mejorar mientras que el recall se desploma. La línea de 500 ms está entre ambos, pero “balanceado” no significa automáticamente que sea útil.
Lo que importa para DUSK es el control de riesgo frente al volumen de alertas, no la latencia frente a la ausencia de latencia.
También observaría el aumento del riesgo de horquilla en el cuartil con mayor latencia. Si ese grupo no muestra una concentración significativa de horquillas, la latencia puede estar correlacionada, pero ser operativamente débil.
Mi duda silenciosa es simple: ¿la seguridad del token de DUSK mejora porque la alerta se ve estadísticamente bien, o solo cuando detecta los eventos raros que realmente importan?
@Dusk_Foundation #dusk $DUSK
Un umbral puede sonar preciso y aun así ser un mal predictor.
Para DUSK Network, no juzgaría solo la latencia. Importa el ROC-AUC en la demora P95, la pérdida de paquetes y la disponibilidad del validador, porque cada señal puede separar de forma distinta las rondas con horquilla y las que no. Luego, la matriz de confusión muestra la parte AUC que puede ocultar falsas alarmas, horquillas omitidas y con qué frecuencia una ronda de alto riesgo era realmente inofensiva.
El umbral de 250 ms puede detectar más eventos de horquilla, pero inunda el sistema con ruido. Con 750 ms, la precisión puede mejorar mientras que el recall se desploma. La línea de 500 ms está entre ambos, pero “balanceado” no significa automáticamente que sea útil.
Lo que importa para DUSK es el control de riesgo frente al volumen de alertas, no la latencia frente a la ausencia de latencia.
También observaría el aumento del riesgo de horquilla en el cuartil con mayor latencia. Si ese grupo no muestra una concentración significativa de horquillas, la latencia puede estar correlacionada, pero ser operativamente débil.
Mi duda silenciosa es simple: ¿la seguridad del token de DUSK mejora porque la alerta se ve estadísticamente bien, o solo cuando detecta los eventos raros que realmente importan?
@Dusk_Foundation #dusk $DUSK