Qu’est-ce qui devrait nécessiter une approbation humaine ?

Le plus grand risque lié à un agent d’IA n’est peut-être pas ce qu’il pense, mais ce qu’il est autorisé à faire.

Un modèle peut être impressionnant dans sa capacité à planifier, mais dès lors qu’il peut dépenser de l’argent, appeler des API payantes ou agir sur différents services, une mauvaise décision cesse d’être une simple mauvaise réponse. Elle peut devenir une véritable transaction.

Ce qui a retenu mon attention dans la conception de Kite, c’est la séparation entre l’utilisateur, l’agent et la session. L’utilisateur reste l’autorité suprême ; l’agent reçoit des autorisations déléguées ; et une session peut être limitée à une tâche ou à une période précise. Cela crée une frontière plus nette entre demander de l’aide à une IA et lui donner le pouvoir d’agir.

L’approche de Kite prévoit aussi des contraintes programmables au niveau de l’infrastructure. Les limites de dépenses et les actions autorisées doivent être imposées par une autorisation cryptographique et la logique des contrats intelligents, et non simplement inscrites dans un prompt en espérant que tout se passe bien.

À mes yeux, c’est une façon plus utile d’envisager la sécurité de l’IA dans les opérations financières. Nous ne parviendrons probablement pas à éliminer toutes les erreurs des modèles. Mais nous pouvons concevoir des systèmes où une erreur ne confère pas automatiquement une autorité illimitée.

La question que je me pose est la suivante : si un agent a une identité claire, des autorisations limitées et une piste vérifiable, qu’est-ce qui devrait tout de même nécessiter une approbation humaine ? Je ne fixerais pas la limite au même endroit pour un petit paiement à une API que pour un transfert de fonds entre comptes.

Cette frontière des autorisations est peut-être aussi importante que l’intelligence de l’agent.

#KiteBBW $KITE @KITE AI