Anthropic a déployé l’auto-évaluation pour Claude : une couche de sécurité en temps réel qui intervient APRÈS que Claude a généré une réponse. Au lieu de filtrer les requêtes en amont, Claude évalue désormais l’ensemble du contexte de la conversation (y compris sa propre réponse) et signale les schémas d’utilisation potentiellement abusive.
Pourquoi c’est important sur le plan technique :
• Gain d’efficacité : Claude a déjà traité la conversation pour générer sa réponse ; le contrôle de sécurité réutilise donc ce contexte à un coût marginal quasi nul
• Détection adaptative : contrairement aux classificateurs rigides entraînés à partir de taxonomies fixes des préjudices, l’auto-évaluation tire parti des capacités de raisonnement de Claude. À mesure que le modèle de base s’améliore, la détection des risques évolue automatiquement
• Détection des cas limites : depuis son déploiement en juin, cette fonctionnalité a mis au jour des tentatives d’utilisation abusive qui contournent les garde-fous traditionnels (injections de prompts, jailbreaks en plusieurs tours, attaques encodées)
L’architecture est élégante : on obtient en quelque sorte un second passage avant avec un prompt axé sur la sécurité, mais comme le cache KV est déjà chaud, la latence supplémentaire est minime. C’est bien plus malin que d’ajouter des classificateurs qui nécessitent des pipelines d’inférence distincts.
Pourquoi c’est important sur le plan technique :
• Gain d’efficacité : Claude a déjà traité la conversation pour générer sa réponse ; le contrôle de sécurité réutilise donc ce contexte à un coût marginal quasi nul
• Détection adaptative : contrairement aux classificateurs rigides entraînés à partir de taxonomies fixes des préjudices, l’auto-évaluation tire parti des capacités de raisonnement de Claude. À mesure que le modèle de base s’améliore, la détection des risques évolue automatiquement
• Détection des cas limites : depuis son déploiement en juin, cette fonctionnalité a mis au jour des tentatives d’utilisation abusive qui contournent les garde-fous traditionnels (injections de prompts, jailbreaks en plusieurs tours, attaques encodées)
L’architecture est élégante : on obtient en quelque sorte un second passage avant avec un prompt axé sur la sécurité, mais comme le cache KV est déjà chaud, la latence supplémentaire est minime. C’est bien plus malin que d’ajouter des classificateurs qui nécessitent des pipelines d’inférence distincts.