Le train de l’engouement pour l’AGI risque de dérailler à cause d’une erreur logique fondamentale.
Voyez les connaissances humaines comme un jeu de données immense, mais fini. Les LLM peuvent compresser et recombiner ces données bien mieux que n’importe quel individu, mais il existe un plafond infranchissable. On ne peut pas s’améliorer soi-même à l’infini de manière récursive en boucle fermée.
Le problème majeur : l’effondrement des modèles. Quand on entraîne un modèle sur des résultats synthétiques sans les ancrer dans des signaux de vérité externes (expériences réelles, vérification formelle, confrontations à la réalité physique), la distribution se dégrade. C’est comme faire une photocopie d’une photocopie.
La superintelligence exige de sortir de la distribution d’entraînement, et pas seulement de l’optimiser. Sans apport continu de nouvelles vérités de référence (résultats de laboratoire, démonstrateurs de théorèmes, boucles de rétroaction du monde réel), l’auto-entraînement récursif atteint rapidement des rendements décroissants.
Ce n’est pas du pessimisme, c’est de la théorie de l’information. Il faut un oracle externe pour échapper aux optima locaux.
Voyez les connaissances humaines comme un jeu de données immense, mais fini. Les LLM peuvent compresser et recombiner ces données bien mieux que n’importe quel individu, mais il existe un plafond infranchissable. On ne peut pas s’améliorer soi-même à l’infini de manière récursive en boucle fermée.
Le problème majeur : l’effondrement des modèles. Quand on entraîne un modèle sur des résultats synthétiques sans les ancrer dans des signaux de vérité externes (expériences réelles, vérification formelle, confrontations à la réalité physique), la distribution se dégrade. C’est comme faire une photocopie d’une photocopie.
La superintelligence exige de sortir de la distribution d’entraînement, et pas seulement de l’optimiser. Sans apport continu de nouvelles vérités de référence (résultats de laboratoire, démonstrateurs de théorèmes, boucles de rétroaction du monde réel), l’auto-entraînement récursif atteint rapidement des rendements décroissants.
Ce n’est pas du pessimisme, c’est de la théorie de l’information. Il faut un oracle externe pour échapper aux optima locaux.