変更のない判定ポリシーのもと、Coinbaseが過去の取引16,140件を再現して行った検証では、3つのAIモデルファミリーの新しいバージョンは、不正な支払いの検知件数が少なく、不正取引額も小さくなりました。

この検証から、実際の顧客損失が発生したとは断定できず、性能が低下した原因も明らかになりません。ただし、決済事業者は新しいモデルの性能向上を前提とせず、実際のスクリーニング環境でアップグレードを検証する必要があることを示しています。