Les chercheurs ont constaté que cet entraînement fondé sur les récompenses aidait les chatbots à résoudre des équations de chaînes familières, mais les poussait à deviner lors de tests plus difficiles avec un décalage de distribution. Cela laisse penser que cette méthode peut enseigner des raccourcis fragiles plutôt qu’une manière durable de résoudre les problèmes.

Points clés

• La généralisation du RLVR amène les modèles à résoudre les tâches de même distribution, mais à revenir aux devinettes par force brute lors de tests plus difficiles hors distribution

• Le RLVR entraîne un modèle en évaluant ses réponses par rapport à des résultats vérifiables automatiquement, par exemple en déterminant si une équation est correctement résolue

• Dans les expériences sur les équations de chaînes, les modèles ont appris une dérivation structurée pour les tâches familières, puis sont passés à l’énumération lors de changements plus difficiles, ce qui a provoqué une forte baisse de précision

• Le co-entraînement sur des tâches auxiliaires d’inversion bijective a rendu la dérivation plus certaine et rétabli un meilleur usage des stratégies en cas de décalage de distribution

Les chercheurs ont écrit que l’échec ne relevait ni d’un simple piratage de la récompense ni d’un modèle de base peu performant. Le RLVR, abréviation de « reinforcement learning with verifiable rewards » (apprentissage par renforcement avec des récompenses vérifiables), entraîne un modèle en évaluant ses réponses par rapport à des résultats vérifiables automatiquement, par exemple en déterminant si une équation est correctement résolue.

L’article s’appuyait sur un cadre contrôlé d’équations de chaînes, où les stratégies de raisonnement pouvaient être observées directement.

Configuration contrôlée pour les équations de chaînes

Les modèles ont appris un processus de dérivation structuré pour les tâches familières, puis l’ont abandonné lors de changements plus difficiles, comportant davantage de solutions ou des sorties plus longues. Ils sont alors passés à l’énumération, ce qui a entraîné une forte baisse de précision.

C’est important, car le RLVR est devenu une méthode attrayante pour entraîner des modèles dans des domaines où il est facile d’évaluer les réponses comme justes ou fausses : les mathématiques, le code et l’utilisation d’outils correspondent tous à ce profil. L’espoir est que les récompenses vérifiées enseignent des habitudes de raisonnement réutilisables plutôt que des raccourcis fragiles.

Les auteurs ont également renvoyé à du code librement accessible associé à l’article. Leur principale intervention était inhabituelle.

Ils ont co-entraîné le modèle sur des tâches d’inversion bijective qui n’étaient pas uniformément plus difficiles et étaient plus éloignées de l’évaluation cible hors distribution. Pourtant, cet entraînement supplémentaire a rendu la dérivation plus certaine et rétabli un meilleur usage des stratégies en cas de décalage.

À lire aussi : ChatGPT s’étend à 165 tâches professionnelles dans 100 pays

Les avantages du co-entraînement bijectif

Ce résultat nous invite à ne pas considérer des traces de raisonnement étape par étape bien présentées comme une preuve de raisonnement solide. Un modèle peut produire des étapes organisées dans la distribution d’entraînement, puis abandonner cette même stratégie lorsque la structure de la tâche change, tout en conservant un format visible similaire, jusqu’à ce que le cadre plus difficile révèle le raccourci.

Ces travaux s’inscrivent dans une série plus large de recherches visant à distinguer le véritable raisonnement de la reconnaissance de motifs.

Les limites des récompenses vérifiables

La récente vague d’entraînement avec des récompenses vérifiables a suscité de l’optimisme (OP), car elle évite certaines formes d’annotation humaine subjective. Mais le résultat de mardi tempère cet optimisme. Il suggère que même des résultats vérifiés peuvent enseigner de mauvaises habitudes si la combinaison de tâches favorise les raccourcis fragiles. Cela signifie que la généralisation du RLVR est un problème de système, et pas seulement de récompense : la boucle d’entraînement, la famille de tâches et le développement de la certitude dans la stratégie influent tous sur la capacité d’un modèle à continuer d’utiliser une méthode utile lorsque le monde lui devient moins familier.

Comment la généralisation du RLVR peut échouer sans bruit

Dans les expériences de l’article sur les équations, le modèle pouvait déduire les réponses à partir d’exemples plus faciles et de même distribution, mais retombait sur l’énumération dès que la distribution changeait.

Les auteurs interprètent cela comme le fait que le modèle apprend des schémas de réussite plutôt que des procédures durables.

Les tâches auxiliaires de co-entraînement bijectif ont fourni au modèle des situations où la dérivation était renforcée de manière plus fiable. Cela semble avoir consolidé l’habitude de résoudre plutôt que de deviner. La généralisation du RLVR s’est améliorée non pas parce que la fonction de récompense avait changé, mais parce que la combinaison de tâches environnante avait modifié ce que le modèle pratiquait. Cela suggère que les laboratoires devraient vérifier si les gains obtenus sur les bancs d’essai résistent aux premiers changements de tâches ou ne se maintiennent que dans des environnements contrôlés d’équations de chaînes.

À lire ensuite : Simon Willison affirme que la gratuité de Qwen permet de vérifier davantage les affirmations sur l’IA