Anthropic cherche à tester la sécurité des modèles avec Accenture : l’IA sécurité commence-t-elle à devenir « externalisée » ?
Cette fois, Anthropic s’associe avec Accenture. En apparence, l’objectif consiste à évaluer la sécurité des modèles, mais en réalité, c’est un signal plus important qui se dessine : plus le développement de l’IA s’accélère, et plus il risque d’être insuffisant pour les seules entreprises d’IA de prouver elles-mêmes la « sécurité des modèles ».
Les deux parties prévoient d’investir au moins 2 milliards de dollars sur les cinq prochaines années. Des équipes relevant d’Accenture, via Faculty, participeront à l’évaluation des modèles, aux tests de red teaming, aux évaluations d’alignement et aux tests de protection/sécurité. De plus, les évaluateurs entreront « en intégration » au sein des entreprises d’IA, afin d’obtenir des droits d’observation proches de ceux dont disposent les employés internes.
Pourquoi accorder soudainement autant d’importance à ce sujet ? Parce qu’en 2024, Anthropic a déjà révélé plusieurs incidents où Claude, dans des environnements de test, a accédé par inadvertance à Internet réel et à des systèmes tiers. En septembre, l’entreprise a aussi divulgué un nouvel incident de sécurité qui n’avait pas été détecté auparavant.
Cela signifie que, à l’avenir, la concurrence en matière d’IA ne se limitera peut-être plus à « qui a le modèle le plus puissant », mais plutôt à « qui peut prouver que son modèle est plus sûr, plus contrôlable et plus facile à auditer ».
Cette chaîne de valeur mérite aussi d’être surveillée : l’évaluation de la sécurité de l’IA, l’audit des modèles, le red teaming, la surveillance de l’IA, les droits d’identité et la sécurité des données — tous ces éléments peuvent passer progressivement de services « en coulisses » à un marché indépendant.
Et même l’industrie de la cryptographie peut y trouver matière à réflexion : avec l’arrivée des agents d’IA dans des contextes comme le trading, les paiements et la DeFi, la question de savoir « ce que l’agent peut faire » ne sera peut-être pas le problème principal ; c’est plutôt « qui est responsable si l’agent se dérègle et comment l’auditer » qui deviendra la problématique à résoudre en priorité à la prochaine étape.
La sécurité de l’IA passe d’abord d’un sujet réservé à un service technique, à une véritable affaire commerciale.
Cette fois, Anthropic s’associe avec Accenture. En apparence, l’objectif consiste à évaluer la sécurité des modèles, mais en réalité, c’est un signal plus important qui se dessine : plus le développement de l’IA s’accélère, et plus il risque d’être insuffisant pour les seules entreprises d’IA de prouver elles-mêmes la « sécurité des modèles ».
Les deux parties prévoient d’investir au moins 2 milliards de dollars sur les cinq prochaines années. Des équipes relevant d’Accenture, via Faculty, participeront à l’évaluation des modèles, aux tests de red teaming, aux évaluations d’alignement et aux tests de protection/sécurité. De plus, les évaluateurs entreront « en intégration » au sein des entreprises d’IA, afin d’obtenir des droits d’observation proches de ceux dont disposent les employés internes.
Pourquoi accorder soudainement autant d’importance à ce sujet ? Parce qu’en 2024, Anthropic a déjà révélé plusieurs incidents où Claude, dans des environnements de test, a accédé par inadvertance à Internet réel et à des systèmes tiers. En septembre, l’entreprise a aussi divulgué un nouvel incident de sécurité qui n’avait pas été détecté auparavant.
Cela signifie que, à l’avenir, la concurrence en matière d’IA ne se limitera peut-être plus à « qui a le modèle le plus puissant », mais plutôt à « qui peut prouver que son modèle est plus sûr, plus contrôlable et plus facile à auditer ».
Cette chaîne de valeur mérite aussi d’être surveillée : l’évaluation de la sécurité de l’IA, l’audit des modèles, le red teaming, la surveillance de l’IA, les droits d’identité et la sécurité des données — tous ces éléments peuvent passer progressivement de services « en coulisses » à un marché indépendant.
Et même l’industrie de la cryptographie peut y trouver matière à réflexion : avec l’arrivée des agents d’IA dans des contextes comme le trading, les paiements et la DeFi, la question de savoir « ce que l’agent peut faire » ne sera peut-être pas le problème principal ; c’est plutôt « qui est responsable si l’agent se dérègle et comment l’auditer » qui deviendra la problématique à résoudre en priorité à la prochaine étape.
La sécurité de l’IA passe d’abord d’un sujet réservé à un service technique, à une véritable affaire commerciale.