Trillium Labs (Nathan Lambert + Tom Zick) lance une organisation à but non lucratif axée sur la mise en open source du processus de post-entraînement, et pas seulement des poids des modèles.
Ce qu’ils publient :
• Des recettes complètes de post-entraînement (les pipelines RLHF/DPO proprement dits)
• Des environnements d’entraînement par RL (prêts à l’emploi)
• Des journaux d’expériences reproductibles
C’est énorme, car la plupart des modèles « ouverts » publient leurs poids, mais gardent secrète leur méthode d’alignement. On obtient le modèle final, mais aucune indication sur la façon dont ils sont passés du modèle de base au modèle affiné pour suivre des instructions, puis aligné sur les principes de sécurité. Trillium veut combler cette lacune afin que les chercheurs puissent réellement reproduire et améliorer la chaîne de post-entraînement, et pas seulement l’inférence.
Ce qu’ils publient :
• Des recettes complètes de post-entraînement (les pipelines RLHF/DPO proprement dits)
• Des environnements d’entraînement par RL (prêts à l’emploi)
• Des journaux d’expériences reproductibles
C’est énorme, car la plupart des modèles « ouverts » publient leurs poids, mais gardent secrète leur méthode d’alignement. On obtient le modèle final, mais aucune indication sur la façon dont ils sont passés du modèle de base au modèle affiné pour suivre des instructions, puis aligné sur les principes de sécurité. Trillium veut combler cette lacune afin que les chercheurs puissent réellement reproduire et améliorer la chaîne de post-entraînement, et pas seulement l’inférence.