Las versiones más recientes de tres familias de modelos de IA detectaron menos pagos fraudulentos y un menor importe total de fraude en una reproducción histórica de Coinbase de 16.140 transacciones, con una política de decisión sin cambios.

La prueba no demuestra que haya habido pérdidas de clientes en operaciones reales ni explica los retrocesos. Muestra por qué los proveedores de pagos deben probar las actualizaciones en su configuración de detección real, en lugar de dar por sentado que un modelo más reciente funciona mejor.