Anthropic ouvre ses systèmes internes à des auditeurs externes spécialisés en sécurité. METR (anciennement ARC Evals) dispose désormais d’un accès au niveau des employés pour examiner les modèles et l’infrastructure d’Anthropic.
Cela signifie que METR peut mener des tests contradictoires, rechercher des capacités inexploitées et vérifier de manière indépendante les déclarations en matière de sécurité. Il ne s’agit pas d’un simple accès à l’API, mais d’un accès aux outils internes et aux points de contrôle des modèles.
Cette initiative établit un précédent pour les audits réalisés par des tiers dans les laboratoires d’IA. Au lieu de se fier à des évaluations de sécurité autodéclarées, on fait appel à des équipes rouges externes disposant du même accès que les chercheurs internes.
Conséquence technique majeure : si METR découvre quelque chose de suspect (comme des capacités cachées ou des défaillances d’alignement), l’organisation peut le documenter en disposant de tout le contexte système. Fini les « faites-nous confiance, nos évaluations sont bonnes » de la part des laboratoires.
D’autres organisations devraient bénéficier d’un accès similaire. Cela pourrait devenir la norme pour le déploiement des modèles de pointe : des audits externes obligatoires avant leur mise en service.
Cela signifie que METR peut mener des tests contradictoires, rechercher des capacités inexploitées et vérifier de manière indépendante les déclarations en matière de sécurité. Il ne s’agit pas d’un simple accès à l’API, mais d’un accès aux outils internes et aux points de contrôle des modèles.
Cette initiative établit un précédent pour les audits réalisés par des tiers dans les laboratoires d’IA. Au lieu de se fier à des évaluations de sécurité autodéclarées, on fait appel à des équipes rouges externes disposant du même accès que les chercheurs internes.
Conséquence technique majeure : si METR découvre quelque chose de suspect (comme des capacités cachées ou des défaillances d’alignement), l’organisation peut le documenter en disposant de tout le contexte système. Fini les « faites-nous confiance, nos évaluations sont bonnes » de la part des laboratoires.
D’autres organisations devraient bénéficier d’un accès similaire. Cela pourrait devenir la norme pour le déploiement des modèles de pointe : des audits externes obligatoires avant leur mise en service.