Para saber se um modelo de mundo realmente entende física, não basta ver se ele sabe repetir uma explicação sobre a gravidade.

Este trecho selecionado do AI on Air foi extraído de um episódio recente do programa Redpoint AI. Quem fala é Oriol Vinyals, vice-presidente de pesquisa do Google DeepMind e co-líder do Google Gemini.

▷ Principal desafio: depois que a linguagem entra no modelo, as respostas sobre a «gravidade» podem vir apenas de explicações encontradas na internet durante o treinamento — o que não prova que o modelo de mundo realmente tenha esse conceito internamente.
▷ Avaliação possível: conectar a presença da «gravidade» nas representações do modelo de mundo às explicações que podem ser decodificadas. Primeiro, verificar se o modelo consegue dar uma explicação básica; depois, se consegue deduzir equações.
▷ Pista metodológica: a tradução automática não supervisionada dos primeiros tempos conseguia alinhar representações de idiomas que não haviam sido vistos juntos durante o treinamento. Da mesma forma, é possível alinhar a capacidade de decodificação de um modelo de linguagem à compreensão conceitual de um modelo de mundo — mas a avaliação final precisa fazer sentido para a aplicação.🪁