modeltransparency

Claude Fable 5 n’est pas affaibli. Le routeur fait juste preuve de paranoïa.

Les résultats de benchmark de Claude Fable 5 montrent des résultats contradictoires — un test l’évalue comme inférieur, tandis qu’un autre indique une amélioration. La différence ne vient pas d’une dégradation du modèle, mais d’un routage de sécurité agressif qui intercepte les requêtes avant que le modèle ne les traite. Des chercheurs de LMArena et d’autres plateformes d’évaluation rapportent que des prompts identiques sont bloqués ou répondus différemment selon les règles de routage.

Ce comportement de routage rappelle les schémas de déploiement d’IA en entreprise où des garde-fous bloquent des cas d’usage légitimes. Les développeurs indiquent que des benchmarks similaires passent lorsque les questions évitent une formulation « risquée ». Le modèle lui-même reste inchangé ; c’est la couche de filtrage qui fait office de portier. Les déploiements en entreprise rencontrent le même problème : les politiques de sécurité ajoutent de la friction sans améliorer la qualité du modèle.

Des observateurs du secteur notent que cela crée un récit fallacieux selon lequel les modèles « deviennent plus bêtes ». En réalité, des systèmes de sécurité centralisés introduisent de l’imprévisibilité dans les métriques de performance. Des alternatives décentralisées exposeraient les sorties brutes du modèle pour une évaluation transparente et une comparaison équitable entre les fournisseurs.

Le routage de sécurité aide-t-il ou nuit-il aux progrès de l’IA ? Des benchmarks transparents pourraient-ils révéler la vérité ? 👇

#LLMBenchmarks #AISafety #ModelTransparency