La capacité de simuler le monde (World Model) est considérée par certains experts comme la prochaine grande étape permettant à l'IA de « percevoir » et de recréer le monde physique.
Plusieurs entreprises ou laboratoires poussent les capacités mondiales de modélisation pour l’IA. Parmi eux, les World Labs du professeur Fei-Fei Li, l'un des pionniers de l'IA, ont levé 230 millions de dollars pour construire un « grand modèle mondial ». Google DeepMind a également embauché Tim Brooks, chef de l'équipe Sora, et un autre expert, William Peebles, pour développer un « simulateur de monde ».
"Les images du monde qui nous entoure que nous avons en tête ne sont que des modèles. Personne dans sa tête ne peut imaginer un monde entier, un gouvernement ou un pays. Les gens choisissent uniquement des concepts et des relations entre eux, et les utilisent pour représenter le système réel." , selon la définition du modèle mental donnée dans le livre Comportement contre-intuitif des systèmes sociaux de Jay Wright Forrester, ingénieur en informatique, informaticien, théoricien de la gestion et scientifique des systèmes. Américain, écrit en 1971.
Illustration du « monde de l’IA ». Photo de : Novita
World Model est considéré comme le successeur de Mental Model, tous deux inspirés du cerveau humain. Le cerveau prend des représentations abstraites des sens, formant ainsi une compréhension concrète du monde environnant. Les prédictions faites par le cerveau sur la base de modèles influencent la façon dont une personne perçoit le monde.
Deux chercheurs David Ha et Jürgen Schmidhuber utilisent l'exemple de la façon dont jouent les joueurs de baseball. Ces personnes n'ont qu'une milliseconde pour décider comment balancer le club et ce paramètre est plus court que le temps nécessaire pour envoyer les signaux de la vision au cerveau. Pour ce faire, ils doivent prédire comment et où le ballon sera lancé avant qu’il n’arrive.
"C'est l'aspect permettant à l'IA d'atteindre le niveau humain si elle applique le modèle mondial", ont écrit Ha et Schmidhuber dans un rapport conjoint publié sur Github.
Selon les experts, les IA qui créent des vidéos à partir de texte, comme Sora, tombent dans ce qu'on appelle la « vallée de l'étrangeté ». Cela dit, les vidéos générées par l'IA présentent de nombreux défauts, notamment en ce qui concerne les mouvements rapides, en partie parce que l'algorithme ne peut pas prédire le prochain « modèle », comme le fait le cerveau humain.
Selon TechCrunch, les outils d'IA de génération vidéo peuvent désormais prédire avec précision le rebond d'un ballon de basket, mais ils ne savent pas vraiment pourquoi. De même, les modèles linguistiques ne comprennent pas non plus vraiment les concepts derrière les mots et les expressions.
Cependant, World Model rend l'IA vraiment intelligente en « comprenant » pourquoi la balle rebondit. Pour obtenir cet aperçu, le modèle mondial doit être formé sur une variété de types de données tels que des photos, de l'audio, de la vidéo et du texte, dans le but de tirer des conclusions internes sur le fonctionnement du monde et sur ce qui est possible pour expliquer les résultats des actions. .
"Les téléspectateurs s'attendent à ce que ce qu'ils voient se comporte comme il le fait dans la réalité", a déclaré à TechCrunch Alex Mashrabov, ancien responsable de l'IA de Snap et PDG de la société mondiale de modélisation Higgsfield. "Un moteur de modèle mondial suffisamment puissant comprendra comment un objet se déplace au lieu d'avoir à attendre que le créateur 'trace des lignes' pour qu'il se déplace."
Mais créer de meilleures vidéos n’est qu’une partie de ce que fait World Model. D'éminents chercheurs en IA, comme Yann LeCun, directeur de l'IA chez Meta, prédisent qu'ils pourraient un jour être utilisés pour des prévisions et une planification sophistiquées dans les domaines numérique et physique.
Plus tôt cette année, LeCun a décrit comment World Model peut aider un système d'IA à atteindre un objectif souhaité grâce à l'inférence. Un modèle prend une histoire initiale, par exemple une vidéo d'une pièce sale, lui donne un objectif de salle blanche, et une séquence d'actions pour atteindre cet objectif, comme déployer un aspirateur pour balayer, laver la vaisselle, sortir les poubelles. . Au cours de ce processus, l'IA reconnaît non seulement grâce à des caméras et des capteurs, mais « sait » également, à un niveau plus profond, comment passer du sale au propre.
"Nous avons besoin de machines capables de comprendre le monde, de se souvenir des choses, d'avoir de l'intuition, du bon sens - quelque chose qui puisse raisonner et planifier au même niveau humain", a déclaré LeCun. "Les systèmes d'IA actuels ne sont capables de faire aucune de ces choses. Il faudra peut-être attendre une décennie avant qu'ils n'apparaissent."
Selon OpenAI, Sora peut être considéré comme un modèle mondial primitif lorsqu'il s'agit de simuler des actions, comme un peintre laissant des coups de pinceau sur la toile. Cependant, la société a également admis qu'il faudrait beaucoup de temps pour finaliser cette fonctionnalité.
Malgré son grand potentiel, la construction du modèle mondial est coûteuse, car elle nécessite une puissance de calcul énorme par rapport à celle actuelle. On estime qu’un petit outil peut consommer des milliers de GPU parmi les plus puissants pour la formation.
En outre, la quantité de données d’entrée pour World Model est également plusieurs fois supérieure à celle des grands modèles de langage existants. "Les données d'entraînement du modèle doivent être suffisamment larges pour couvrir un ensemble diversifié de scénarios, mais doivent être très spécifiques pour que l'IA comprenne en profondeur les nuances de ce scénario", commente Mashhabov de Higgsfield. "Le manque de données ralentit les progrès."
Cristóbal Valenzuela, PDG de Runway AI, estime également que les données constituent le plus grand obstacle sur la voie de la construction d'un modèle mondial. "Les modèles nécessitent beaucoup de données et d'ingénierie pour créer une carte cohérente de l'environnement et la capacité de naviguer et d'interagir dans cet environnement", a écrit Valenzuela dans un article de blog.
Cependant, Mashrabov estime que si tous ces obstacles sont surmontés, le modèle mondial sera « plus fort » pour connecter l'IA au monde réel, en particulier lorsqu'il est combiné avec des robots.
"Les robots d'aujourd'hui sont limités dans leur capacité à effectuer leur travail parce qu'ils ne sont pas conscients de leur environnement. World Model peut leur fournir cette capacité", a-t-il déclaré. "Grâce à un modèle avancé, l'IA peut développer une compréhension personnelle de tout scénario dans lequel elle est placée et commencer à déduire des solutions possibles."
