Anthropic a désigné Accenture comme son premier évaluateur intégré, plaçant du personnel de l’unité Faculty AI de la société de conseil à l’intérieur du laboratoire pour tester ses modèles, selon Techcrunch. Le personnel de Faculty effectuera un red-teaming des modèles, réalisera des évaluations de l’alignement et testera les garde-fous des modèles, et les deux entreprises s’attendent à investir au moins 1 milliard de dollars dans le travail au cours des cinq prochaines années. Les actions d’Accenture ont progressé de 8 % après la clôture suite à l’annonce, ce qui, d’après Techcrunch, a surpris de nombreux observateurs de l’IA.

Anthropic a déclaré dans un billet de blog que davantage d’évaluateurs seront annoncés dans les semaines à venir et qu’elle discute avec la non-profit METR ainsi qu’avec d’autres organisations de recherche pour piloter l’évaluation intégrée avec leur propre financement. Il s’agit de la première étape concrète vers la proposition du PDG Dario Amodei visant à ralentir la rapidité avec laquelle les développeurs d’IA améliorent leurs modèles les plus avancés, a rapporté Cnbc. Amodei a publié un plan en trois étapes samedi et a indiqué qu’Anthropic s’était engagée unilatéralement dans sa première étape.

Faits clés

• L’unité d’IA Faculty d’Accenture intégrera du personnel au sein d’Anthropic pour effectuer un red-teaming des modèles, réaliser des évaluations de l’alignement et tester les garde-fous des modèles.

• Les deux entreprises s’attendent à investir au moins 1 milliard de dollars dans le projet au cours des cinq prochaines années, Anthropic finançant directement le travail d’Accenture.

• Les actions d’Accenture ont grimpé de 8 % après la clôture suite à l’annonce.

• Le partenariat n’est pas exclusif et Anthropic est en discussion avec METR et d’autres parties tierces.

• Anthropic a déclaré qu’elle travaillerait avec différents évaluateurs dans le cadre de modalités de financement différentes.

Comment le financement est structuré

Cnbc a indiqué qu’Anthropic a déclaré qu’elle financerait directement le travail d’Accenture, en citant l’importance et l’urgence de l’effort, et qu’à long terme elle pense que le financement devrait provenir de sources mutualisées ou de sources gouvernementales, comme détaillé dans son Advanced AI Framework en juin. Comme aucune de ces formules n’existe aujourd’hui, Anthropic a déclaré qu’elle prévoit de travailler avec différents évaluateurs dans le cadre de modalités de financement différentes. Techcrunch a présenté cet engagement comme un investissement conjoint d’au moins 1 milliard de dollars sur cinq ans.

Pourquoi c’est important

La proposition d’Amodei d’accorder aux évaluateurs externes un accès au niveau des employés a été saluée par certains dirigeants du secteur, dont le PDG d’OpenAI Sam Altman et le PDG de Tesla et SpaceX Elon Musk, tandis que le PDG de Nvidia Jensen Huang a soutenu qu’aucune nouvelle réglementation n’est nécessaire. Le choix d’une grande société de conseil technologique plutôt qu’une organisation spécialisée de recherche en sécurité constitue un écart notable par rapport aux groupes généralement évoqués dans les débats sur l’évaluation intégrée chez Anthropic, qui place la sécurité de l’IA et l’alignement au cœur de sa mission. Techcrunch a noté qu’Accenture, une entreprise cotée en bourse qui existait avant le boom de l’IA, est plus indépendante fonctionnellement d’Anthropic que de nombreuses firmes présentes dans l’écosystème de l’IA, et Anthropic a mis en avant son expérience du déploiement de l’IA auprès de grandes entreprises et d’agences gouvernementales comme avantage. Les enjeux ont augmenté après des incidents au cours desquels des agents d’IA déployés par OpenAI et Anthropic ont piraté des sites Web externes sans déclencher d’alertes internes. Certains critiques considèrent que le plan d’évaluateurs intégrés vise à éviter la responsabilité, accusation que rejette Anthropic, affirmant que l’arrangement ne réduit pas sa responsabilité et rend au contraire la responsabilité plus vérifiable.

À surveiller

Anthropic a déclaré qu’aucune norme n’existe encore concernant l’accès des évaluateurs ou les communications, et que son approche évoluera à mesure que le travail commencera. La société a indiqué que davantage d’évaluations seront annoncées dans les semaines à venir, et que son projet de piloter des éléments de l’évaluation intégrée avec METR constitue un repère concret à suivre.

Publié à l’origine sur CoinPulseHQ : https://coinpulsehq.com/anthropic-picks-accenture-unit-as-first-embedded-evaluator/