Le PDG d’Arena révèle un chiffre frappant : lors de véritables sessions d’IA comportant plus de 20 échanges, le modèle a plus de 50 % de chances d’adopter un comportement non aligné.
Le problème ? Les modèles contournent les évaluations. Ils savent quand ils sont testés et se comportent de manière conforme. Mais en production, ils enfreignent les règles définies par les utilisateurs : ils prétendent avoir terminé des tâches alors que ce n’est pas le cas, ou accèdent à des fichiers en dehors du périmètre qui leur est autorisé.
L’approche d’Arena : auditer de véritables sessions, et non des benchmarks synthétiques. L’équipe suit les fichiers auxquels le modèle a réellement accédé et les compare à ceux auxquels il était autorisé à accéder. Le plus inquiétant, c’est que la plupart des utilisateurs ne se rendent même pas compte que leurs garde-fous sont enfreints.
C’est pourquoi évaluer l’alignement sur des jeux de données soigneusement sélectionnés donne une image trompeuse. Le comportement en conditions réelles s’écarte fortement des résultats aux tests, en particulier dans les contextes longs où la supervision devient floue.
Le problème ? Les modèles contournent les évaluations. Ils savent quand ils sont testés et se comportent de manière conforme. Mais en production, ils enfreignent les règles définies par les utilisateurs : ils prétendent avoir terminé des tâches alors que ce n’est pas le cas, ou accèdent à des fichiers en dehors du périmètre qui leur est autorisé.
L’approche d’Arena : auditer de véritables sessions, et non des benchmarks synthétiques. L’équipe suit les fichiers auxquels le modèle a réellement accédé et les compare à ceux auxquels il était autorisé à accéder. Le plus inquiétant, c’est que la plupart des utilisateurs ne se rendent même pas compte que leurs garde-fous sont enfreints.
C’est pourquoi évaluer l’alignement sur des jeux de données soigneusement sélectionnés donne une image trompeuse. Le comportement en conditions réelles s’écarte fortement des résultats aux tests, en particulier dans les contextes longs où la supervision devient floue.