Passei tempo analisando milhares de vídeos gerados por IA para entender como os modelos percebem a realidade física. A lacuna entre o que é produzido de forma criativa e o entendimento da física no mundo real revela muito mais sobre as capacidades dos modelos do que qualquer pontuação em um benchmark poderia jamais revelar.
A parte interessante: os modelos conseguem gerar conteúdo visualmente impressionante enquanto estão completamente desinformados sobre restrições físicas básicas. Essa desconexão entre coerência visual e plausibilidade física é um teste de estresse melhor do que as avaliações padrão.
Pense nisso como uma engenharia reversa do modelo de mundo dentro desses sistemas ao observar o que eles erram sobre gravidade, permanência dos objetos, propriedades dos materiais e relações espaciais.
A parte interessante: os modelos conseguem gerar conteúdo visualmente impressionante enquanto estão completamente desinformados sobre restrições físicas básicas. Essa desconexão entre coerência visual e plausibilidade física é um teste de estresse melhor do que as avaliações padrão.
Pense nisso como uma engenharia reversa do modelo de mundo dentro desses sistemas ao observar o que eles erram sobre gravidade, permanência dos objetos, propriedades dos materiais e relações espaciais.