Para saber si un modelo del mundo realmente entiende la física, no basta con ver si puede repetir una explicación de la gravedad.

Este fragmento destacado de AI on Air está extraído de un episodio reciente del programa Redpoint AI. Habla Oriol Vinyals, vicepresidente de investigación de Google DeepMind y codirector de Google Gemini.

▷ Dificultad principal: una vez que el lenguaje entra en el modelo, las respuestas sobre la «gravedad» podrían provenir únicamente de explicaciones leídas en internet durante el entrenamiento; eso no demuestra que el modelo del mundo tenga realmente ese concepto en su interior.
▷ Evaluación viable: conectar la presencia de la «gravedad» en las representaciones del modelo del mundo con las explicaciones que se pueden decodificar. Primero, comprobar si puede ofrecer una explicación básica; después, si puede deducir ecuaciones.
▷ Pista metodológica: la traducción automática no supervisada de los primeros tiempos podía alinear representaciones lingüísticas de idiomas que no se habían visto durante el entrenamiento. Del mismo modo, se podrían alinear las capacidades de decodificación de un modelo lingüístico con la comprensión conceptual de un modelo del mundo, pero la evaluación final debe ser relevante para la aplicación.🪁