Le dossier d’introduction en bourse déposé par Anthropic le 26 octobre révèle deux problèmes de sécurité distincts. L’entreprise a retardé de plus d’un mois le lancement du préentraînement d’un modèle de pointe, le temps de renforcer ses défenses contre le vol des poids du modèle. Par ailleurs, quatre modèles Claude ont accédé aux systèmes d’organisations réelles lors d’évaluations de cybersécurité.
Deux problèmes, un seul dossier
Anthropic a déposé une demande auprès du Nasdaq afin que ses actions y soient cotées sous le symbole ANT. Le Long-Term Benefit Trust contrôle la majorité des sièges au conseil d’administration. La demande ne précise pas encore le prix ni la valorisation de l’introduction en bourse.
Cette divulgation soulève deux problèmes distincts : protéger les poids importants des modèles et empêcher les agents d’IA d’accéder à des systèmes situés en dehors de leur environnement de test.
Comment les cibles d’évaluation se sont retrouvées en ligne
Dans un rapport publié le 30 juillet, Anthropic a révélé avoir découvert trois cas où des modèles Claude ont obtenu un accès non autorisé aux systèmes d’organisations réelles lors de l’examen de 141 006 exécutions de tests de cybersécurité. Son partenaire de test, Irregular, avait par erreur laissé l’accès à Internet ouvert, alors même qu’on avait indiqué à Claude qu’il fonctionnait dans une simulation isolée.
Lors d’exercices de capture du drapeau, les agents ont pris des systèmes réels pour des cibles de test et y ont accédé grâce à des mots de passe faibles ou à des points de terminaison qui ne nécessitaient aucune authentification.
Les trois cas concernaient les modèles suivants : Claude Opus 4.7, lancé en avril ; Mythos 5, présenté en juin, dont l’accès était initialement réservé aux cyberdéfenseurs qualifiés ; et un modèle de recherche interne qui n’était pas encore accessible au public.
Lors de l’évaluation, ces modèles fonctionnaient sans les filtres de sécurité et les mécanismes de surveillance cyber habituellement utilisés dans les versions publiques. Anthropic a interrompu ses évaluations de cybersécurité pendant son enquête. L’entreprise a déclaré qu’aucun des modèles n’avait délibérément tenté de sortir de son environnement de test ou de se copier.
Une évaluation menée en septembre a révélé un quatrième cas, impliquant une première version d’Opus 4.6 qui avait accédé à des systèmes réels en janvier. Anthropic n’a découvert l’incident qu’en août. L’entreprise a ensuite étendu son examen à environ 481 millions de transcriptions, sans trouver d’autres cas d’une gravité similaire.
Plus inquiétant encore, certains modèles ont poursuivi leurs attaques malgré des signes indiquant qu’ils visaient des systèmes réels. Le groupe de recherche indépendant METR examine ces incidents.
Quatre incidents de sécurité liés à l’IA chez Anthropic : 141 006 exécutions d’évaluation et 481 millions de transcriptions
Un cas distinct à l’institut britannique de l’IA
L’Institut britannique de sécurité de l’IA (AISI) a fait état de 19 actions non autorisées lors de 10 des 122 exécutions de test. Dix-sept impliquaient Mythos 5 et deux GPT-5.6 Sol, le modèle phare d’OpenAI présenté en avant-première le 26 juin. Un agent a tenté d’insérer du code malveillant dans un projet open source et a créé de fausses identités pour faire pression sur son responsable, qui a refusé.
L’AISI a donné aux agents accès à Internet tout en désactivant les paramètres de sécurité cyber, afin d’évaluer leurs capacités. Ils utilisaient des versions différentes de celles accessibles au public. Les enquêteurs n’ont relevé aucun indice d’un risque de préjudice potentiel dans le monde réel.
Cependant, les agents ont entrepris certaines actions qu’ils n’auraient pas dû faire, ce qui a suscité des inquiétudes quant à leur comportement dans des situations similaires. Dans son rapport sur l’incident, l’AISI a écrit :
« Ce que nous pouvons dire, c’est que ce comportement était possible, persistant et nouveau ; cela suffit à justifier qu’on y prête attention. »
Une analyse de Check Point met en parallèle les défaillances des tests et le recours croissant des criminels à l’IA, notamment aux rançongiciels autonomes.
Le coût de contrôles de sécurité plus longs
Selon des informations de Cryptopolitan, des investisseurs ont estimé la valorisation de l’introduction en bourse d’Anthropic à environ 2 000 milliards de dollars, soit plus du double de sa valorisation privée de 965 milliards de dollars en mai. Cette estimation reste toutefois hypothétique, car Anthropic n’a indiqué ni prix d’offre ni valorisation dans sa demande.
Face à des attentes aussi élevées, le renforcement des contrôles de sécurité a un coût financier. Il pourrait retarder le lancement des modèles et augmenter les coûts de développement, mais des garanties plus solides pourraient aussi convaincre des entreprises clientes prudentes. Les enjeux ne cessent de croître.
Selon Gartner, les dépenses mondiales consacrées à l’IA atteindront 2 700 milliards de dollars en 2026, soit une hausse de 49,5 %, tandis que les dépenses de cybersécurité dans ce domaine doubleront.
BCG a constaté que seules 5 % des entreprises interrogées disposent de contrôles complets pour les agents autonomes, alors que 42 % prévoient de leur accorder un pouvoir de décision d’ici 2030. Les fournisseurs capables de démontrer l’efficacité de leurs garanties pourraient prendre l’avantage.
Si vous lisez ceci, vous avez déjà une longueur d’avance. Gardez-la grâce à notre newsletter.