Pour savoir si un modèle du monde comprend vraiment la physique, il ne suffit pas de vérifier s’il sait réciter une explication de la gravité.

Cet extrait sélectionné d’AI on Air est tiré d’un récent épisode de l’émission Redpoint AI. L’intervenant est Oriol Vinyals, vice-président de la recherche chez Google DeepMind et co-responsable de Google Gemini.

▷ Difficulté centrale : une fois le langage intégré au modèle, les réponses aux questions sur la « gravité » peuvent simplement provenir d’explications en ligne lues pendant l’entraînement ; cela ne prouve pas que le modèle du monde possède réellement ce concept en interne.
▷ Évaluation possible : relier la présence ou non de la « gravité » dans les représentations du modèle du monde aux explications que l’on peut en extraire. Vérifier d’abord s’il peut fournir une explication de base, puis s’il peut en déduire des équations.
▷ Piste méthodologique : les premiers systèmes de traduction automatique non supervisée pouvaient aligner des représentations linguistiques de langues jamais rencontrées pendant l’entraînement. De même, on peut aligner les capacités de décodage d’un modèle de langage avec la compréhension des concepts par un modèle du monde, mais l’évaluation doit en fin de compte être pertinente pour les applications.🪁