Une idée m’est revenue sans cesse pendant que je réfléchissais au protocole Newton.
Nous sommes devenus à l’aise pour considérer l’autorisation comme la fin d’une décision.
Une fois l’accès accordé, l’exécution semble être l’étape suivante naturelle.
Pour les humains, cette hypothèse fonctionne souvent, car nous ajustons constamment nos décisions sans même nous en rendre compte.
Un agent d’IA ne le fait pas.
Il suit ce qui lui a été autorisé à faire.
Cet écart semble faible jusqu’à ce que l’environnement change.
Un portefeuille peut encore avoir une autorisation.
Une politique peut encore valider.
Pourtant, l’intention originale de l’utilisateur peut déjà être différente.
Cet écart entre autorisation et intention me semble plus important que je ne l’avais d’abord réalisé.
Plus je réfléchissais au Newton Protocol, plus je sentais que son architecture ne se limite pas à l’idée de permettre des actions.
Elle nous pousse à nous demander si une action mérite encore d’avoir lieu lorsque le moment de l’exécution arrive.
Cette nuance subtile compte.
Parce que des systèmes autonomes ne tomberont pas toujours en panne parce qu’ils sont malveillants.
Parfois, elles échouent parce qu’elles exécutent fidèlement des autorisations qui ne représentent plus ce que l’utilisateur veut réellement.
Peut-être que l’avenir de l’infrastructure de l’IA ne consiste pas à créer des agents plus capables.
C’est peut-être une question de s’assurer que chaque action autorisée continue de refléter une intention réelle, même quand le contexte évolue.
Plus j’y réfléchissais, plus je me rendais compte que la confiance ne concerne pas seulement la sécurité.
Il s’agit d’alignement.
L’alignement entre ce qu’un utilisateur voulait, ce que la politique autorise, et ce qui parvient finalement à l’exécution.
Peut-être que c’est l’une des leçons silencieuses cachées dans le Newton Protocol.
Pas que l’autorisation existe.
Mais cette seule autorisation ne devrait jamais être confondue avec une intention.
Dernière réflexion
À mesure que les systèmes autonomes deviennent plus indépendants, l’autorisation doit-elle mesurer l’accès… ou doit-elle protéger en continu l’intention de l’utilisateur ?
