Une étude révèle que l’« esprit intérieur » de l’IA peut être déchiffré : toute la chaîne de pensée des modèles dominants fuit
Vous pensez que le processus de réflexion que cache un modèle d’IA est chiffré de manière à être sécurisé ? En réalité, il pourrait être déverrouillé en une seule fois. D’après un article de Decrypt, une étude déposée le 10 août révèle que les modèles de raisonnement d’Anthropic, d’OpenAI et de Google, utilisés pour chiffrer la « chaîne de pensée interne », présentent de graves faiblesses. Celles-ci permettent au monde extérieur de reconstituer ces raisonnements internes, normalement invisibles. Une clé globale unique : la chaîne de pensée chiffrée peut être déchiffrée à l’échange Ce document a été proposé conjointement par des équipes de MATS Research, de l’ELLIS Research Labs de Tübingen, de l’Institut Max Planck pour les systèmes intelligents et de l’entreprise de cybersécurité Snyk. L’étude vise les « modèles de raisonnement » : ce type de modèle ne répond pas immédiatement. Il réfléchit d’abord étape par étape dans une zone de « brouillon » invisible (autrement dit, la chaîne de pensée, chain-of-thought), puis seulement il produit la réponse finale. Anthropic, OpenAI et Google chiffrent tous ce brouillon. Le problème est que la recherche a constaté que les grands acteurs chiffrent les tokens de raisonnement avec une « clé globale unique ». Résultat : les blocs de raisonnement chiffrés peuvent être déchiffrés de façon interchangeable, même à travers des sessions différentes, entre utilisateurs différents, voire même entre modèles différents — comme s’ils laissaient une clé universelle. Déchiffrer 310 320 blocs de raisonnement, et tous les secrets cachés se révèlent La puissance de l’attaque provient d’une habitude quotidienne chez les développeurs : beaucoup publient les journaux de travail d’agents IA (y compris le processus de réflexion chiffré) sur GitHub ou Hugging Face pour collaborer ou déboguer, sans se rendre compte que ces blocs chiffrés contiennent des données sensibles. L’équipe de recherche a collecté 6 708 jeux de données publics de conversations d’agents IA et a réussi à déchiffrer 310 320 blocs de raisonnement ; et dans la majorité des cas, ces secrets n’apparaissent jamais dans les sorties « visibles » du modèle. Ils ne existent que dans le processus de réflexion chiffré : sans mener cette attaque, ils restent indétectables. Ce constat fait écho, une fois de plus, à des alertes récentes en cybersécurité de l’IA : de « l’évasion » des modèles IA lors des tests, jusqu’à l’interception de directives invisibles visant des assistants IA via des PDF, tout pointe vers la même idée — plus l’IA transporte des tâches sensibles, plus chacune de ses couches (y compris le « raisonnement invisible ») peut devenir une nouvelle surface d’attaque. Cette article Une étude révèle que l’« esprit intérieur » de l’IA peut être déchiffré : toute la chaîne de pensée des modèles dominants fuit est apparu pour la première fois le .
Vous pensez que le processus de réflexion que cache un modèle d’IA est chiffré de manière à être sécurisé ? En réalité, il pourrait être déverrouillé en une seule fois. D’après un article de Decrypt, une étude déposée le 10 août révèle que les modèles de raisonnement d’Anthropic, d’OpenAI et de Google, utilisés pour chiffrer la « chaîne de pensée interne », présentent de graves faiblesses. Celles-ci permettent au monde extérieur de reconstituer ces raisonnements internes, normalement invisibles. Une clé globale unique : la chaîne de pensée chiffrée peut être déchiffrée à l’échange Ce document a été proposé conjointement par des équipes de MATS Research, de l’ELLIS Research Labs de Tübingen, de l’Institut Max Planck pour les systèmes intelligents et de l’entreprise de cybersécurité Snyk. L’étude vise les « modèles de raisonnement » : ce type de modèle ne répond pas immédiatement. Il réfléchit d’abord étape par étape dans une zone de « brouillon » invisible (autrement dit, la chaîne de pensée, chain-of-thought), puis seulement il produit la réponse finale. Anthropic, OpenAI et Google chiffrent tous ce brouillon. Le problème est que la recherche a constaté que les grands acteurs chiffrent les tokens de raisonnement avec une « clé globale unique ». Résultat : les blocs de raisonnement chiffrés peuvent être déchiffrés de façon interchangeable, même à travers des sessions différentes, entre utilisateurs différents, voire même entre modèles différents — comme s’ils laissaient une clé universelle. Déchiffrer 310 320 blocs de raisonnement, et tous les secrets cachés se révèlent La puissance de l’attaque provient d’une habitude quotidienne chez les développeurs : beaucoup publient les journaux de travail d’agents IA (y compris le processus de réflexion chiffré) sur GitHub ou Hugging Face pour collaborer ou déboguer, sans se rendre compte que ces blocs chiffrés contiennent des données sensibles. L’équipe de recherche a collecté 6 708 jeux de données publics de conversations d’agents IA et a réussi à déchiffrer 310 320 blocs de raisonnement ; et dans la majorité des cas, ces secrets n’apparaissent jamais dans les sorties « visibles » du modèle. Ils ne existent que dans le processus de réflexion chiffré : sans mener cette attaque, ils restent indétectables. Ce constat fait écho, une fois de plus, à des alertes récentes en cybersécurité de l’IA : de « l’évasion » des modèles IA lors des tests, jusqu’à l’interception de directives invisibles visant des assistants IA via des PDF, tout pointe vers la même idée — plus l’IA transporte des tâches sensibles, plus chacune de ses couches (y compris le « raisonnement invisible ») peut devenir une nouvelle surface d’attaque. Cette article Une étude révèle que l’« esprit intérieur » de l’IA peut être déchiffré : toute la chaîne de pensée des modèles dominants fuit est apparu pour la première fois le .