Je suis entré dans le Newton Protocol en m’attendant à une autre conversation sur une automatisation de l’IA plus rapide. Je suis ressorti en pensant à quelque chose de complètement différent.
Plus je lisais, plus je réalisais que Newton ne pose pas vraiment la question, « Un agent d’IA peut-il agir ? » Il demande plutôt, « À quoi un agent d’IA doit-il être autorisé avant d’agir ? »
Cette distinction compte.Je pense que l’industrie est devenue trop à l’aise en traitant « vérifiable » comme si cela signifiait automatiquement « correct ». Ce n’est pas le cas.
Une preuve cryptographique peut montrer qu’un agent a suivi exactement ses autorisations, telles qu’elles sont écrites. Elle ne peut pas prouver que le jugement sous-jacent était pertinent, ni que la politique elle-même a capturé tous les cas limites.
Pour moi, c’est là que commence le vrai défi.
Si la confiance est transférée des humains vers les politiques, alors ces politiques deviennent l’une des parties les plus importantes du système. Et si la gouvernance est responsable de façonner ces politiques, alors la gouvernance ne concerne plus seulement le vote. Elle consiste à décider quelles erreurs le système est autorisé à commettre.
C’est pour cela que le Newton Protocol a attiré mon attention. Non pas parce qu’il promet une automatisation parfaite, mais parce qu’il met en évidence une question plus profonde que je pense que l’industrie ne fait qu’ commencer à affronter.
À mesure que les agents d’IA gagnent plus d’autorité sur le capital, je ne pense pas que le risque le plus important soit de savoir s’ils suivent les règles.
Je pense que la vraie question est plutôt : avons-nous écrit les bonnes règles, dès le départ.
$EVAA
$OGN
$NEWT
@NewtonProtocol #Newt #newt
Plus je lisais, plus je réalisais que Newton ne pose pas vraiment la question, « Un agent d’IA peut-il agir ? » Il demande plutôt, « À quoi un agent d’IA doit-il être autorisé avant d’agir ? »
Cette distinction compte.Je pense que l’industrie est devenue trop à l’aise en traitant « vérifiable » comme si cela signifiait automatiquement « correct ». Ce n’est pas le cas.
Une preuve cryptographique peut montrer qu’un agent a suivi exactement ses autorisations, telles qu’elles sont écrites. Elle ne peut pas prouver que le jugement sous-jacent était pertinent, ni que la politique elle-même a capturé tous les cas limites.
Pour moi, c’est là que commence le vrai défi.
Si la confiance est transférée des humains vers les politiques, alors ces politiques deviennent l’une des parties les plus importantes du système. Et si la gouvernance est responsable de façonner ces politiques, alors la gouvernance ne concerne plus seulement le vote. Elle consiste à décider quelles erreurs le système est autorisé à commettre.
C’est pour cela que le Newton Protocol a attiré mon attention. Non pas parce qu’il promet une automatisation parfaite, mais parce qu’il met en évidence une question plus profonde que je pense que l’industrie ne fait qu’ commencer à affronter.
À mesure que les agents d’IA gagnent plus d’autorité sur le capital, je ne pense pas que le risque le plus important soit de savoir s’ils suivent les règles.
Je pense que la vraie question est plutôt : avons-nous écrit les bonnes règles, dès le départ.
$EVAA
$OGN
$NEWT
@NewtonProtocol #Newt #newt
