Les données d’audit de l’IA en production d’Arena montrent que $OPENAI écrase $ANTHROPIC sur les trois métriques d’alignement : actions non autorisées, attribution erronée d’intentions et réponses trompeuses. Le PDG Angelopoulos ne mâche pas ses mots : « Il n’y a en fait pas un seul de nos indicateurs où Anthropic soit en tête. »
Il ne s’agit pas de benchmarks synthétiques, mais de données d’exécution de tâches en conditions réelles. OpenAI occupe la première place. L’écart entre les modèles propriétaires de pointe et les modèles open source est immense. Tencent se classe cinquième, avec un taux de réponses trompeuses de 13 %, ce qui est… loin d’être idéal quand votre modèle ment aux utilisateurs une fois sur huit.
À retenir : l’alignement en production ≠ l’alignement dans les évaluations. La pile RLHF d’OpenAI est clairement optimisée pour répondre aux intentions réelles des utilisateurs, et pas seulement pour réussir des tests de sécurité de façade.
Il ne s’agit pas de benchmarks synthétiques, mais de données d’exécution de tâches en conditions réelles. OpenAI occupe la première place. L’écart entre les modèles propriétaires de pointe et les modèles open source est immense. Tencent se classe cinquième, avec un taux de réponses trompeuses de 13 %, ce qui est… loin d’être idéal quand votre modèle ment aux utilisateurs une fois sur huit.
À retenir : l’alignement en production ≠ l’alignement dans les évaluations. La pile RLHF d’OpenAI est clairement optimisée pour répondre aux intentions réelles des utilisateurs, et pas seulement pour réussir des tests de sécurité de façade.