EntityBench: Towards Entity-Consistent Long-Range Multi-Shot Video Generation
Zusammenfassung der Pressemitteilung
Eine lange Videogeschichte verlangt, dass Figuren, Objekte und Orte bei ihrer späteren Rückkehr erkennbar bleiben. EntityBench misst dieses Problem in 140 Episoden und 2.491 Einstellungen mit expliziten Entitätsplänen. Die Auswertung trennt Bildqualität, Prompt-Treue und Konsistenz zwischen Einstellungen und zählt fehlerhafte Erscheinungen nicht als konsistent. EntityMem speichert verifizierte visuelle Referenzen jeder Entität dauerhaft. Die Experimente zeigen, dass bestehende Methoden bei größeren Wiederkehrabständen an Konsistenz verlieren, während EntityMem unter den verglichenen Methoden die höchste Figurentreue erreicht.
Zusammenfassung
Multi-shot video generation extends single-shot generation to coherent visual narratives, yet maintaining consistent characters, objects, and locations across shots remains a challenge over long sequences. Existing evaluations typically use independently generated prompt sets with limited entity coverage and simple consistency metrics, making standardized comparison difficult. We introduce EntityBench, a benchmark of 140 episodes (2,491 shots) derived from real narrative media, with explicit per-shot entity schedules tracking characters, objects, and locations simultaneously across easy / medium / hard tiers of up to 50 shots, 13 cross-shot characters, 8 cross-shot locations, 22 cross-shot objects, and recurrence gaps spanning up to 48 shots. It is paired with a three-pillar evaluation suite that disentangles intra-shot quality, prompt-following alignment, and cross-shot consistency, with a fidelity gate that admits only accurate entity appearances into cross-shot scoring. As a baseline, we propose EntityMem, a memory-augmented generation system that stores verified per-entity visual references in a persistent memory bank before generation begins. Experiments show that cross-shot entity consistency degrades sharply with recurrence distance in existing methods, and that explicit per-entity memory yields the highest character fidelity (Cohen's d = +2.33) and presence among methods evaluated.
Zitation
@article{heentitybench,
title = {EntityBench: Towards Entity-Consistent Long-Range Multi-Shot Video Generation},
author = {He, Ruozhen and Wei, Meng and Yang, Ziyan and Ordonez, Vicente},
journal = {arXiv preprint arXiv:2605.15199},
url = {https://arxiv.org/abs/2605.15199},
}
automatisch generierte Fragen, wichtigste Beiträge und Grenzen dieses Artikels
Fragen, die dieser Artikel beantworten hilft
- Was misst EntityBench? Die Konsistenz von Figuren, Objekten und Orten in langen Videos mit mehreren Einstellungen.
- Wie groß ist der Benchmark? 140 Episoden und 2.491 Einstellungen, mit bis zu 50 Einstellungen und Wiederkehrabständen von 48.
- Wie wird Konsistenz bewertet? Qualität, Prompt-Ausrichtung und Konsistenz werden getrennt; nur korrekte Entitätsauftritte zählen.
- Was ist EntityMem? Eine Baseline, die vor der Generierung verifizierte Referenzen pro Entität speichert und durchgehend nutzt.
Wichtigste Beiträge
- EntityBench liefert Einstellungspläne für Figuren, Objekte und Orte aus realen Erzählmedien.
- Es umfasst drei Schwierigkeitsstufen und bis zu 13 Figuren, 8 Orte und 22 wiederkehrende Objekte.
- Die Auswertung trennt visuelle Qualität, Prompt-Ausrichtung und Langzeitkonsistenz.
- EntityMem bietet eine Speicher-Baseline mit deutlichem Vorteil bei der Figurentreue.
Grenzen und Vorbehalte
- Narrative Quellen decken möglicherweise nicht alle Anforderungen interaktiver oder dokumentarischer Videos ab.
- EntityMem setzt vorab verfügbare verifizierte Referenzen voraus.
- Bewegungsstil, Kameraführung und kausale Kontinuität sind ergänzende künftige Dimensionen.
- Der Leistungsabfall über lange Distanzen zeigt die Offenheit des Problems und den diagnostischen Wert des Benchmarks.
Wie dieses Ergebnis zu lesen ist
EntityBench ist ein sorgfältig strukturierter Prüfstand für eine zentrale Schwäche langer Videogenerierung, mit interpretierbarer Auswertung und praktischer Speicher-Baseline.