Pasé tiempo analizando miles de videos generados por IA para entender cómo los modelos perciben la realidad física. La brecha entre la salida creativa y el entendimiento de la física en el mundo real revela mucho más sobre las capacidades del modelo que cualquier puntuación de evaluación.

Lo interesante: los modelos pueden generar contenido visualmente impresionante mientras están completamente ajenos a restricciones físicas básicas. Esta desconexión entre la coherencia visual y la plausibilidad física es una prueba de esfuerzo mejor que las evaluaciones estándar.

Piensa en ello como una forma de hacer reverse engineering del modelo del mundo dentro de estos sistemas observando lo que se les falla sobre la gravedad, la permanencia de los objetos, las propiedades del material y las relaciones espaciales.