世界モデルが本当に物理を理解しているかどうかは、重力の説明を暗記しているかどうかだけでは判断できません。

この「AI on Air」厳選クリップは、Redpoint AIの最近の番組から抜粋したものです。登壇者は、Google DeepMindのリサーチ担当副社長であり、Google Geminiの共同責任者でもあるOriol Vinyalsです。

▷ 核心となる課題：モデルに言語を入力した後、「重力」に関する質疑応答ができたとしても、それが学習時に読んだウェブ上の説明に基づいているだけかもしれません。世界モデルの内部に本当にこの概念があることの証明にはなりません。
▷ 実現可能な評価方法：「重力」が世界モデルの表現に存在するかどうかを、解読可能な説明と結び付けます。まず基本的な説明ができるかを確かめ、次に方程式を導き出せるかを見ます。
▷ 方法のヒント：初期の教師なし機械翻訳では、学習時に見たことのない言語の表現を対応付けることができました。同様に、言語モデルの解読能力と世界モデルにおける概念レベルの理解を対応付けられます。ただし、最終的な評価は応用にとって意味のあるものでなければなりません。🪁