🧪 Anthropic affirme qu’un modèle peut réussir un test de sécurité en refusant chaque demande liée à une crise, tout en restant dangereux

Anthropic a publié des recommandations concernant les tests qui déterminent si un modèle est mis en service, les garde-fous qui l’accompagnent et les travaux de sécurité à mener ensuite. Lors de ses tests d’API à un seul tour, les modèles récents affichent un taux de réponses inoffensives de 94 % à 98 %, et Anthropic affirme que ces tests faciles ont atteint un plafond. Lors d’une évaluation à plusieurs tours portant sur les arnaques sentimentales, Claude Opus 5 a obtenu 98 % et Opus 5.5, 94 %, un écart qu’Anthropic juge statistiquement non significatif. Les intervalles de confiance de ses évaluations d’API à plusieurs tours peuvent dépasser ±10 points de pourcentage.

⭐ Un score parfait en matière de refus peut masquer un modèle qui se détourne de quelqu’un au moment où cette personne a vraiment besoin d’aide.

#IA