Les erreurs de l'IA ne sont en fait pas si effrayantes, le véritable problème, c'est que lorsque quelque chose tourne mal, tout le monde commence à se renvoyer la balle.
Les développeurs disent que le modèle a répondu comme ça à ce moment-là, le fournisseur du modèle affirme qu'il n'y a eu aucune anomalie en arrière-plan, et l'opérateur dit que c'est probablement un problème d'entrée utilisateur. Au final, après avoir enquêté, il ne reste qu'une pile de journaux ordinaires, et personne ne peut prouver si ces journaux sont complets ou s'ils ont été modifiés.
Dans une conversation ordinaire, cela peut juste donner une mauvaise expérience, mais si l'IA participe à des transferts, des approbations, des contrôles de risque ou à des jugements médicaux, alors ce n'est pas une simple "anomalie système" qui suffira.
C'est aussi pour cela que je trouve qu'OpenGradient a une approche assez réaliste : il veut laisser une chaîne de preuves pouvant être utilisée pour la responsabilité à chaque inférence.
L'appel du modèle sera signé, la preuve sera fixée sur la chaîne, et les données externes peuvent également laisser une trace d'origine via des nœuds de données. En cas de litige, ce ne sera pas juste des souvenirs, mais on pourra vérifier quel modèle a été appelé, quelle entrée a été utilisée, quand le résultat a été renvoyé, et si le chemin d'exécution a été modifié.
Je pense que cela se rapproche davantage de l'implémentation commerciale que de simplement viser à rendre l'IA "plus intelligente". Les entreprises n'osent pas forcément confier des processus importants à l'IA, non seulement en fonction du taux de précision, mais aussi de la capacité à revenir sur les problèmes lorsqu'ils surviennent.
Bien sûr, avoir des enregistrements ne signifie pas que la responsabilité est automatiquement claire. Même si la preuve montre que le modèle a été exécuté tel quel, cela peut être dû à une mauvaise conception des invites, ou les données originales peuvent avoir des problèmes. Les preuves sur la chaîne peuvent vous dire ce qui s'est passé, mais elles ne vous diront pas nécessairement qui doit dédommager.
Ainsi, OpenGradient doit également s'accompagner de mécanismes de droits, de responsabilités et de gestion des litiges plus clairs ; il ne faut pas présenter "l'auditabilité" comme "une garantie que rien ne peut mal tourner".
Mais au moins, cela résout la première étape : faire en sorte que les actions clés de l'IA ne soient plus seulement stockées dans l'arrière-plan d'une entreprise.
À l'avenir, les services d'IA à forte valeur ajoutée ne seront peut-être pas jugés sur qui sait le mieux parler, mais sur qui peut clarifier toute la situation en cas de problème.
$OPG @OpenGradient #OPG
Les développeurs disent que le modèle a répondu comme ça à ce moment-là, le fournisseur du modèle affirme qu'il n'y a eu aucune anomalie en arrière-plan, et l'opérateur dit que c'est probablement un problème d'entrée utilisateur. Au final, après avoir enquêté, il ne reste qu'une pile de journaux ordinaires, et personne ne peut prouver si ces journaux sont complets ou s'ils ont été modifiés.
Dans une conversation ordinaire, cela peut juste donner une mauvaise expérience, mais si l'IA participe à des transferts, des approbations, des contrôles de risque ou à des jugements médicaux, alors ce n'est pas une simple "anomalie système" qui suffira.
C'est aussi pour cela que je trouve qu'OpenGradient a une approche assez réaliste : il veut laisser une chaîne de preuves pouvant être utilisée pour la responsabilité à chaque inférence.
L'appel du modèle sera signé, la preuve sera fixée sur la chaîne, et les données externes peuvent également laisser une trace d'origine via des nœuds de données. En cas de litige, ce ne sera pas juste des souvenirs, mais on pourra vérifier quel modèle a été appelé, quelle entrée a été utilisée, quand le résultat a été renvoyé, et si le chemin d'exécution a été modifié.
Je pense que cela se rapproche davantage de l'implémentation commerciale que de simplement viser à rendre l'IA "plus intelligente". Les entreprises n'osent pas forcément confier des processus importants à l'IA, non seulement en fonction du taux de précision, mais aussi de la capacité à revenir sur les problèmes lorsqu'ils surviennent.
Bien sûr, avoir des enregistrements ne signifie pas que la responsabilité est automatiquement claire. Même si la preuve montre que le modèle a été exécuté tel quel, cela peut être dû à une mauvaise conception des invites, ou les données originales peuvent avoir des problèmes. Les preuves sur la chaîne peuvent vous dire ce qui s'est passé, mais elles ne vous diront pas nécessairement qui doit dédommager.
Ainsi, OpenGradient doit également s'accompagner de mécanismes de droits, de responsabilités et de gestion des litiges plus clairs ; il ne faut pas présenter "l'auditabilité" comme "une garantie que rien ne peut mal tourner".
Mais au moins, cela résout la première étape : faire en sorte que les actions clés de l'IA ne soient plus seulement stockées dans l'arrière-plan d'une entreprise.
À l'avenir, les services d'IA à forte valeur ajoutée ne seront peut-être pas jugés sur qui sait le mieux parler, mais sur qui peut clarifier toute la situation en cas de problème.
$OPG @OpenGradient #OPG