Le fait qu’un agent IA effectue un paiement erroné touche le portefeuille des gens ordinaires de plus près que la question de savoir si « l’IA manipulera les marchés ». Avant, lorsqu’un programme faisait un mauvais paiement, on pouvait au moins consulter les journaux et demander à quelqu’un. À l’avenir, si l’agent comprend lui-même, passe lui-même la commande et paie lui-même, alors même en cas d’erreur, il faudra peut-être toute une procédure de conformité. Les machines sont plus rapides que les humains, leurs permissions sont plus larges, et lorsqu’un incident survient, restaurer la situation est même plus difficile qu’avec un humain. Le problème le plus épineux dans ce monde n’a jamais été un manque d’intelligence, mais le fait que l’intelligence soit déjà suffisante alors que les freins ne suivent pas encore.