Versões mais recentes de três famílias de modelos de IA identificaram menos pagamentos fraudulentos e um valor menor em fraudes na reprodução histórica, pela Coinbase, de 16.140 transações, com a política de decisão inalterada.

O teste não comprova perdas reais de clientes nem explica as regressões. Ele mostra por que os provedores de pagamento precisam testar as atualizações em sua configuração real de triagem, em vez de presumir que um modelo mais recente terá melhor desempenho.