La fonctionnalité la plus précieuse de l’IA pourrait être un bouton « Annuler »
Une idée me revient sans cesse quand je lis des choses sur les agents IA. Nous passons un temps incroyable à discuter du niveau d’autorité qu’un agent devrait recevoir. Je vois rarement la question inverse recevoir la même attention : à quel point cette autorité devrait pouvoir disparaître facilement ?
Plus j’y pense, plus je crois que l’autorité permanente est un raccourci de conception. Cela paraît pratique jusqu’à ce que le monde change. L’intention de l’utilisateur change. Le risque change. Les priorités changent. Un système d’IA qui ne peut qu’acquérir de l’autorité mais a du mal à la perdre finit par s’éloigner lentement de la personne qu’il est censé représenter.
C’est la partie de Newton qui m’est restée. Son mécanisme de révocation des autorisations n’est pas juste une autre fonctionnalité de sécurité. Il traite discrètement l’autorité comme quelque chose de temporaire plutôt que de permanent. Pour moi, c’est une philosophie différente. La confiance cesse d’être une décision ponctuelle et commence à devenir une chose qui peut évoluer chaque fois que l’utilisateur change d’avis.
Je pense que cette idée dépasse largement un seul protocole. À mesure que les agents IA commencent à gérer des paiements, des investissements et des décisions du quotidien, l’intelligence seule ne déterminera pas si les gens leur font confiance. La capacité de retirer une autorité sans friction pourrait devenir tout aussi importante que celle de l’accorder en premier lieu.
Bien sûr, les systèmes réversibles ajoutent une coordination et une gestion d’état supplémentaires. La simplicité favorise généralement les autorisations permanentes. La sécurité, rarement.
Je commence à penser que le futur n’appartiendra pas à l’IA ayant le plus d’autorité. Il appartiendra à l’IA qui sait que son autorité est toujours prêtée, jamais possédée.@NewtonProtocol #newt $NEWT $VANRY $BLUR
Une idée me revient sans cesse quand je lis des choses sur les agents IA. Nous passons un temps incroyable à discuter du niveau d’autorité qu’un agent devrait recevoir. Je vois rarement la question inverse recevoir la même attention : à quel point cette autorité devrait pouvoir disparaître facilement ?
Plus j’y pense, plus je crois que l’autorité permanente est un raccourci de conception. Cela paraît pratique jusqu’à ce que le monde change. L’intention de l’utilisateur change. Le risque change. Les priorités changent. Un système d’IA qui ne peut qu’acquérir de l’autorité mais a du mal à la perdre finit par s’éloigner lentement de la personne qu’il est censé représenter.
C’est la partie de Newton qui m’est restée. Son mécanisme de révocation des autorisations n’est pas juste une autre fonctionnalité de sécurité. Il traite discrètement l’autorité comme quelque chose de temporaire plutôt que de permanent. Pour moi, c’est une philosophie différente. La confiance cesse d’être une décision ponctuelle et commence à devenir une chose qui peut évoluer chaque fois que l’utilisateur change d’avis.
Je pense que cette idée dépasse largement un seul protocole. À mesure que les agents IA commencent à gérer des paiements, des investissements et des décisions du quotidien, l’intelligence seule ne déterminera pas si les gens leur font confiance. La capacité de retirer une autorité sans friction pourrait devenir tout aussi importante que celle de l’accorder en premier lieu.
Bien sûr, les systèmes réversibles ajoutent une coordination et une gestion d’état supplémentaires. La simplicité favorise généralement les autorisations permanentes. La sécurité, rarement.
Je commence à penser que le futur n’appartiendra pas à l’IA ayant le plus d’autorité. Il appartiendra à l’IA qui sait que son autorité est toujours prêtée, jamais possédée.@NewtonProtocol #newt $NEWT $VANRY $BLUR