EntityBench: Towards Entity-Consistent Long-Range Multi-Shot Video Generation
プレスリリース要約
長い動画物語では、人物、物体、場所が後で再登場しても識別できる必要があります。EntityBenchは140エピソード、2,491ショットでこの課題を測り、各ショットの登場実体を明示します。ショット品質、プロンプト適合、ショット間一貫性を分け、誤った登場には一貫性の得点を与えません。EntityMemは各実体の検証済み視覚参照を永続メモリに保存します。実験では再登場間隔が長いほど既存手法の一貫性が低下し、EntityMemが比較手法中で最も高い人物忠実度を達成しました。
要旨
Multi-shot video generation extends single-shot generation to coherent visual narratives, yet maintaining consistent characters, objects, and locations across shots remains a challenge over long sequences. Existing evaluations typically use independently generated prompt sets with limited entity coverage and simple consistency metrics, making standardized comparison difficult. We introduce EntityBench, a benchmark of 140 episodes (2,491 shots) derived from real narrative media, with explicit per-shot entity schedules tracking characters, objects, and locations simultaneously across easy / medium / hard tiers of up to 50 shots, 13 cross-shot characters, 8 cross-shot locations, 22 cross-shot objects, and recurrence gaps spanning up to 48 shots. It is paired with a three-pillar evaluation suite that disentangles intra-shot quality, prompt-following alignment, and cross-shot consistency, with a fidelity gate that admits only accurate entity appearances into cross-shot scoring. As a baseline, we propose EntityMem, a memory-augmented generation system that stores verified per-entity visual references in a persistent memory bank before generation begins. Experiments show that cross-shot entity consistency degrades sharply with recurrence distance in existing methods, and that explicit per-entity memory yields the highest character fidelity (Cohen's d = +2.33) and presence among methods evaluated.
引用
@article{heentitybench,
title = {EntityBench: Towards Entity-Consistent Long-Range Multi-Shot Video Generation},
author = {He, Ruozhen and Wei, Meng and Yang, Ziyan and Ordonez, Vicente},
journal = {arXiv preprint arXiv:2605.15199},
url = {https://arxiv.org/abs/2605.15199},
}
この論文について自動生成された質問、主な貢献、および限界
この論文が答える助けとなる質問
- EntityBenchは何を測りますか？長いマルチショット動画で人物、物体、場所が一貫しているかを評価します。
- 規模は？140エピソードと2,491ショットで、最大50ショット、再登場間隔は最大48ショットです。
- 一貫性をどう評価しますか？品質、プロンプト適合、一貫性を別々に測り、正しい実体の登場だけを得点します。
- EntityMemとは？生成前に各実体の検証済み参照を保存し、全シーケンスで利用するメモリ型ベースラインです。
主な貢献
- 実際の物語メディアに基づく人物、物体、場所のショット別スケジュールを提供します。
- 3難易度で最大13人物、8場所、22物体の再登場を扱います。
- 視覚品質、プロンプト適合、長距離一貫性を分離評価します。
- EntityMemは人物忠実度を大きく改善するメモリ型ベースラインです。
限界と注意点
- 物語由来のため、対話動画やドキュメンタリーには別の一貫性要件があり得ます。
- EntityMemは生成前に検証済み参照があることを前提とします。
- 動き、撮影表現、因果的連続性は今後の補完軸です。
- 長距離での低下は課題が未解決であることとベンチマークの診断価値を示します。
この結果の読み解き方
EntityBenchは長尺動画生成の中心的な失敗を測る、解釈しやすい評価と実用的ベースラインを備えた丁寧なテスト基盤です。