Selon l’université Carnegie Mellon, une méthode d’entraînement de l’IA pourrait remplacer quatre étapes distinctes, ce qui permettrait aux grands laboratoires de créer des chatbots puissants à moindre coût et plus facilement, sans perte de performance.

Points clés à retenir

• Un article de chercheurs de Carnegie Mellon et de leurs collaborateurs soutient qu’un algorithme fondé sur la vraisemblance peut couvrir le préentraînement, l’entraînement intermédiaire, le fine-tuning supervisé et l’apprentissage par renforcement

• Le chercheur Omar Sanseviero a publié l’article sur X, et le résumé sur arXiv le présente comme une lecture recommandée

• Selon le résumé sur arXiv, la méthode a amélioré le compromis entre précision et coût de calcul tout en préservant des capacités plus générales lors de tests contrôlés et en conditions réelles

• Les auteurs soutiennent que les objectifs d’apprentissage par renforcement peuvent être dérivés d’un ajustement par maximum de vraisemblance à des distributions cibles générées par le modèle

Le chercheur Omar Sanseviero a publié l’article sur X samedi, le recommandant à la lecture, et le résumé arXiv sous-jacent indique que la méthode a amélioré le compromis entre précision et coût de calcul tout en préservant des capacités plus générales lors de tests contrôlés et en conditions réelles.

L’Université Carnegie Mellon est un établissement de recherche de premier plan aux États-Unis, dont les travaux en apprentissage automatique alimentent souvent les outils et les théories ensuite adoptés par les laboratoires d’IA commerciaux. L’affirmation centrale de l’article n’est pas que toutes les phases d’entraînement disparaissent, mais qu’elles pourraient s’inscrire dans un même cadre mathématique, plutôt que de reposer sur des fonctions objectif et des piles logicielles distinctes.

L’Université Carnegie Mellon transforme l’entraînement en planification

La plupart des grands modèles sont encore entraînés par étapes.

Les laboratoires commencent par alimenter un modèle avec d’immenses jeux de données textuelles et visuelles lors du préentraînement. Ils l’ajustent ensuite à l’aide de données plus ciblées pendant l’entraînement intermédiaire ou le réglage fin supervisé, puis recourent à l’apprentissage par renforcement, une méthode qui récompense les résultats obtenant de bons scores par rapport à une cible.

L’article soutient que cette séparation relève de l’habitude, et non d’une règle immuable.

Les auteurs écrivent que des objectifs d’apprentissage par renforcement appropriés peuvent être dérivés d’un ajustement par maximum de vraisemblance à des distributions cibles générées par le modèle. En pratique, cela signifie qu’un laboratoire pourrait mélanger des jeux de données statiques et des trajectoires générées par le modèle au sein d’un même entraîneur, puis se concentrer sur le choix des données intégrées à l’entraînement, de leur proportion et du moment où elles interviennent.

C’est important, car les étapes d’entraînement entraînent souvent des doublons dans le travail d’ingénierie.

Différentes équipes gèrent différents pipelines, points de contrôle et règles d’évaluation. Lorsqu’un laboratoire modifie ses objectifs en cours de route, il risque aussi de perdre des capacités acquises auparavant ou de devoir dépenser davantage en calcul pour les retrouver.

À lire également : les récompenses vérifiables entraînent un virage décisif au-delà du RLHF dans les laboratoires de pointe

Des recettes par étapes à un entraîneur unique

Cette idée apparaît alors que les laboratoires d’IA subissent une pression accrue pour justifier l’utilisation de chaque dollar consacré à l’entraînement.

Les modèles plus grands ont rendu la curation des données, la conception des récompenses et le post-entraînement plus coûteux, notamment depuis que l’apprentissage par renforcement est passé d’un domaine de niche lié à l’alignement à une pratique courante d’ajustement des modèles.

Cette pression a déjà changé la façon dont les laboratoires parlent de l’entraînement. Au cours de l’année écoulée, les fabricants de modèles sont passés de la vantardise sur le nombre de paramètres à la mise en avant de l’efficacité des coûts, de la qualité des jetons et des gains obtenus lors du post-entraînement.

Cet article s’inscrit dans cette évolution, car il envisage le cycle de vie de l’entraînement comme un problème d’allocation des ressources, et non comme une succession d’étapes sacro-saintes.

L’article paraît aussi après plusieurs mois de débat public sur la question de savoir si le post-entraînement compte désormais davantage que l’ampleur brute du préentraînement. L’entraînement unifié ne tranche pas le débat, mais il suggère une façon plus claire de combiner les deux.

Comment une règle de vraisemblance transforme l’apprentissage par renforcement

Dans l’article, l’Université Carnegie Mellon et ses collaborateurs présentent l’apprentissage par renforcement comme une autre forme d’ajustement du modèle à une distribution cible, plutôt que comme une famille distincte de techniques d’entraînement.

C’est une distinction précise, car l’apprentissage par renforcement dans l’entraînement des modèles consiste généralement à échantillonner des réponses, à les évaluer, puis à orienter le modèle vers les comportements obtenant les meilleurs scores.

Les auteurs affirment que cette même boucle peut être reformulée dans un cadre de maximum de vraisemblance, qui relève de la même grande famille que l’entraînement standard à la prédiction du jeton suivant.

Pour les laboratoires d’IA comme Anthropic ou OpenAI, le véritable avantage pratique n’est pas l’élégance. C’est de réduire le nombre de passages de relais entre les équipes d’entraînement.

Un seul entraîneur peut réduire le nombre de conversions de points de contrôle, d’interfaces de modèles de récompense et de frontières fragiles entre les étapes qui compliquent les longues sessions d’entraînement. Pour les équipes d’infrastructure, cela peut signifier moins de logiciels redondants et une voie plus claire vers l’apprentissage continu, où un modèle continue de s’améliorer sans réinitialisation complète.

La prochaine chose à surveiller, c’est l’adoption au-delà de l’article.

Le résultat publié sur arXiv est une affirmation de recherche, pas un déploiement en production. La première preuve de l’importance de l’entraînement unifié apparaîtra si un grand laboratoire commence à décrire son processus de post-entraînement en ces termes, ou si des chaînes d’outils open source adoptent par défaut l’entraînement mixte statique et par apprentissage par renforcement.

À lire ensuite : 3 grands chatbots d’IA ont réalisé une chirurgie cérébrale sur une souris et chacun a choisi un traitement différent