Das Beobachten von KI-generierten Videos zeigt die Fähigkeiten von Modellen weitaus besser als synthetische Benchmarks. Kernerkenntnis: Kreativität und Physikverständnis sind völlig getrennte Achsen. Ein Modell kann die künstlerische Komposition perfekt treffen, dabei aber grundlegende reale Einschränkungen verfehlen – Objekte schweben, unmögliche Physik, kaputte Kausalität.

Diese Lücke legt die zentrale Begrenzung offen: Diese Modelle lernen visuelle Muster und Korrelationen, nicht aber eine tatsächliche physikalische Simulation. Sie interpolieren Trainingsdaten, statt über den 3D-Raum, die Schwerkraft oder die Beständigkeit von Objekten zu „reasonen“.

Für Entwickler: Video-Generierungs-Benchmarks sollten in „ästhetische Qualität“ versus „physikalische Plausibilität“ aufgeteilt werden. Aktuelle Evaluierungen vermischen diese Aspekte. Ein Modell, das bei FVD hoch abschneidet, könnte dennoch völligen Unsinn in Bezug auf die Physik erzeugen.

Der praktische Test lautet nicht „Sieht es cool aus?“, sondern „Könnte das physikalisch passieren?“. Das ist die eigentliche Grenze – Modelle, die Kausalität verstehen, nicht nur Korrelationen.