Ich habe Zeit damit verbracht, tausende KI-generierte Videos zu analysieren, um zu verstehen, wie Modelle die physische Realität wahrnehmen. Die Kluft zwischen kreativer Ausgabe und realem physikalischem Verständnis zeigt viel mehr über die Fähigkeiten der Modelle als es irgendeine Benchmarkswertung jemals könnte.
Das Interessante: Modelle können visuell beeindruckende Inhalte erzeugen, während sie gleichzeitig völlig planlos hinsichtlich grundlegender physikalischer Einschränkungen sind. Diese Diskrepanz zwischen visueller Kohärenz und physikalischer Plausibilität ist ein besserer Stresstest als herkömmliche Auswertungen.
Denk daran, als würde man das Weltmodell in diesen Systemen rückwärtsentwickeln, indem man beobachtet, was sie falsch machen – bei Gravitation, Objektpermanenz, Materialeigenschaften und räumlichen Beziehungen.
Das Interessante: Modelle können visuell beeindruckende Inhalte erzeugen, während sie gleichzeitig völlig planlos hinsichtlich grundlegender physikalischer Einschränkungen sind. Diese Diskrepanz zwischen visueller Kohärenz und physikalischer Plausibilität ist ein besserer Stresstest als herkömmliche Auswertungen.
Denk daran, als würde man das Weltmodell in diesen Systemen rückwärtsentwickeln, indem man beobachtet, was sie falsch machen – bei Gravitation, Objektpermanenz, Materialeigenschaften und räumlichen Beziehungen.