Чтобы понять, действительно ли мировая модель разбирается в физике, недостаточно проверить, умеет ли она повторять объяснение гравитации.

Этот избранный фрагмент AI on Air взят из недавнего выпуска программы Redpoint AI. В нём выступает Ориоль Виньялс, вице-президент по исследованиям Google DeepMind и один из руководителей проекта Google Gemini.

▷ Главная сложность: когда язык попадает в модель, ответы на вопросы о «гравитации» могут быть всего лишь воспроизведением объяснений из интернета, прочитанных во время обучения. Это не доказывает, что у мировой модели действительно есть внутреннее понятие гравитации.
▷ Возможный способ оценки: связать наличие «гравитации» в представлениях мировой модели с объяснениями, которые можно декодировать. Сначала проверить, способна ли модель дать базовое объяснение, а затем — вывести уравнение.
▷ Подсказка для метода: ранние модели машинного перевода без учителя умели сопоставлять представления языков, которых не встречали при обучении. Аналогичным образом можно сопоставить способности языковой модели к декодированию с концептуальным пониманием мировой модели, однако итоговая оценка должна быть значимой для практического применения.🪁