Anthropic vient de publier son guide interne sur les évaluations de sécurité : 10 recommandations concrètes couvrant la conception, l’exécution et la présentation des résultats. Voici le processus d’ingénierie réellement suivi pour décider si un modèle est prêt à être déployé ou s’il doit retourner à l’entraînement.

Principaux axes techniques :
- Méthodologie de conception des évaluations (comment créer des tests qui détectent réellement les capacités dangereuses)
- Infrastructure d’exécution (lancer des évaluations à grande échelle sans faux positifs)
- Normes de présentation des résultats (quelles métriques comptent vraiment, et lesquelles ne sont que des chiffres flatteurs)

C’est important, car les évaluations de sécurité déterminent directement les décisions de déploiement et l’allocation des ressources. Si vos évaluations sont insuffisantes, vous risquez soit de déployer des modèles dangereux, soit de perdre des mois en travaux de sécurité inutiles.

À lire si vous développez des systèmes LLM ou si vous cherchez à comprendre comment les laboratoires de pointe décident réellement d’autoriser ou non une sortie, au-delà des discours de relations publiques.