Neuer Benchmark prüft KI-Videogeneratoren wie Physiklehrer – und gibt schlechte Noten

Moderne Videogeneratoren wie Sora 2, Seedance 2.0 oder Veo 3.1 produzieren immer überzeugendere Clips. Eine neue Benchmark der Tsinghua-Universität bestätigt jedoch erneut, dass visuelle Qualität wenig über das tatsächliche Verständnis der dargestellten Welt aussagt.

Mit WorldReasonBench hat das Team einen Test vorgestellt, der Videogeneratoren nicht primär an Bildqualität misst, sondern daran, wie plausibel sie eine begonnene Szene fortschreiben. Bekommt ein Modell ein Ausgangsbild und einen Prompt, soll es ein Video erzeugen, das physikalisch, sozial, logisch und informationell konsistent bleibt.

Ein einfaches Beispiel zeigt das Problem. Erhält ein Generator das Bild eines Apfels am Ast mit dem Prompt, ihn fallen zu lassen, kann das Resultat technisch beeindrucken, mit glatter Bewegung, realistischen Texturen und schönem Licht, und trotzdem als Weltmodell scheitern. Etwa dann, wenn der Apfel nach oben beschleunigt, in der Luft zerplatzt oder eine gerade statt einer gebogenen Bahn beschreibt. Klassische Qualitätsmetriken belohnen solche Videos trotzdem für ihren Realismus.

WorldReasonBench gliedert die Bewertung von Videogeneratoren in vier Reasoning-Dimensionen mit insgesamt 22 Unterkategorien, von physikalischer Mechanik bis zu Diagrammlogik. | Bild: Wu et al.

Vier Dimensionen prüfen das Weltverständnis

WorldReasonBench umfasst gut 400 Testfälle in vier Bereichen. Geprüft werden Weltwissen wie Physik, Wetter und kulturelle Konventionen, menschzentrierte Szenen mit Objekthandhabung und sozialer Interaktion, logisches Schlussfolgern in Mathematik, Geometrie und wissenschaftlichen Experimenten sowie informationsbasiertes Schlussfolgern beim Ablesen von Daten und Diagrammen.

Die Konstruktion teilt sich in den Aufgabenkatalog WorldReasonBench und das daraus abgeleitete Präferenzbenchmark WorldRewardBench, bei dem 13 Videomodelle gegeneinander antreten. | Bild: Wu et al.

Die Bewertung läuft zweistufig. Ein prozessbewusstes Verfahren prüft mittels strukturierter Fragen, ob das Video den korrekten Endzustand auf einem plausiblen Weg erreicht. Eine zweite Stufe bewertet zusätzlich Reasoning-Qualität, zeitliche Konsistenz und visuelle Ästhetik. Parallel veröffentlicht das Team WorldRewardBench, einen Datensatz mit rund 6000 Videovergleichen, die geschulte Annotatoren nach Qualität sortiert haben.

Kommerzielle Modelle führen, alle scheitern bei Logik

Getestet wurden fünf kommerzielle Systeme (Sora 2, Kling, Wan 2.6, Seedance 2.0, Veo 3.1-Fast) und sechs Open-Source-Modelle (LTX 2.3, Wan 2.2-14B, UniVideo, HunyuanVideo 1.5, Cosmos-Predict 2.5, LongCat-Video). Laut der Studie liegen die kommerziellen Generatoren beim zentralen Reasoning-Wert rund doppelt so hoch wie die freien Modelle, ohne statistische Überschneidung der beiden Gruppen.

Auch optisch überzeugende Videos scheitern bei genauerem Hinsehen am Weltwissen, etwa wenn fallende Dominosteine, eine Greifmaschine oder ein einfacher Schaltkreis die getesteten Modelle aus dem Tritt bringen. | Bild: Wu et al.

Seedance 2.0 von ByteDance führt das Feld an und landet in fast neun von zehn statistischen Wiederholungsläufen auf Platz eins. Veo 3.1-Fast dominiert beim Weltwissen, Sora 2 bei menschzentrierten Szenen. Auch in der menschlichen Bewertung schiebt sich Seedance 2.0 vor Veo 3.1-Fast, Kling und Wan 2.6.

Wichtiger als das Ranking ist jedoch ein gemeinsamer Engpass: Logisches Schlussfolgern bleibt für alle Modelle die mit Abstand schwerste Disziplin. Selbst die besten kommerziellen Systeme fallen hier weit unter ihr Gesamtniveau, nahezu alle Open-Source-Modelle scheitern weitgehend. Informationsbasiertes Schlussfolgern bildet die zweitgrößte Hürde, vor allem dort, wo physikalisch fundierte Übergänge oder die exakte Erhaltung von Text und Zahlen gefragt sind.

Closed-Source-Modelle wie Seedance2.0 und Veo3.1-Fast schlagen die Open-Weight-Konkurrenz auf jeder Reasoning-Dimension um rund den Faktor zwei. | Bild: Wu et al.

Eine in der Studie eingeführte Kennzahl misst, wie viel der korrekten Antworten auf dynamische, also prozesshafte Phasen entfällt. Bei kommerziellen Modellen ist dieser Anteil deutlich höher als bei Open-Source-Systemen. Das Defizit der freien Modelle liegt also bei Kausalität und Prozessverständnis, nicht am statischen Erscheinungsbild. Werden Modelle mit ausführlicheren Prompts versorgt, die den Übergang explizit beschreiben, profitieren Open-Source-Generatoren überproportional stark. Sie hängen damit stärker am Prompt als die kommerzielle Konkurrenz.

Automatische Bewertung trifft menschliches Urteil

Zur Validierung verglich das Team die eigenen Metriken mit der Rangordnung, die sich aus den menschlichen Videovergleichen ergibt. Die zentrale Kennzahl korreliert sehr stark mit dem menschlichen Urteil und schlägt damit deutlich klassische KI-Richter, die zwei Videos paarweise vergleichen.

Fünfzehn geschulte Annotatoren bewerten je acht anonymisierte Modellvideos pro Fall auf drei Achsen. Die Modell-Identitäten bleiben dabei verdeckt. | Bild: Wu et al.

Das Fazit reiht sich in eine wachsende Zahl ähnlicher Befunde ein. Trotz spürbarer Fortschritte bei Auflösung, Länge und Kontrollierbarkeit bleibt der Sprung vom Pixelgenerator zum belastbaren Weltmodell aus.

Fortschritte in diese Richtung dürften weniger von visueller Politur abhängen als vom besseren Verständnis für Mechanismen und der Fähigkeit, Informationen über die Zeit hinweg zu erhalten. Benchmark, Daten und Code sollen auf GitHub veröffentlicht werden.

KI-News ohne Hype – von Menschen kuratiert

Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.

Jetzt abonnieren