EntityBench: Towards Entity-Consistent Long-Range Multi-Shot Video Generation
preprint

EntityBench: Towards Entity-Consistent Long-Range Multi-Shot Video Generation

Ruozhen He, Meng Wei, Ziyan Yang, Vicente Ordonez
arXiv:2605.15199
연구실 뉴스 데스크

보도 자료 요약

이 섹션은 일반 독자를 위해 의도적으로 기자 보도 자료 형식으로 작성되었습니다.

긴 비디오 이야기에서는 인물, 물체, 장소가 나중에 다시 등장해도 알아볼 수 있어야 합니다. EntityBench는 명시적인 개체 일정과 함께 140개 에피소드와 2,491개 숏에서 이 문제를 측정합니다. 숏 품질, 프롬프트 준수, 숏 간 일관성을 분리하고 잘못된 등장은 일관성 점수에 포함하지 않습니다. EntityMem은 개체별 검증된 시각 참조를 지속 메모리에 저장합니다. 실험에서는 재등장 간격이 길수록 기존 방법의 일관성이 떨어졌고 EntityMem이 비교 방법 중 가장 높은 인물 충실도를 얻었습니다.

초록

Multi-shot video generation extends single-shot generation to coherent visual narratives, yet maintaining consistent characters, objects, and locations across shots remains a challenge over long sequences. Existing evaluations typically use independently generated prompt sets with limited entity coverage and simple consistency metrics, making standardized comparison difficult. We introduce EntityBench, a benchmark of 140 episodes (2,491 shots) derived from real narrative media, with explicit per-shot entity schedules tracking characters, objects, and locations simultaneously across easy / medium / hard tiers of up to 50 shots, 13 cross-shot characters, 8 cross-shot locations, 22 cross-shot objects, and recurrence gaps spanning up to 48 shots. It is paired with a three-pillar evaluation suite that disentangles intra-shot quality, prompt-following alignment, and cross-shot consistency, with a fidelity gate that admits only accurate entity appearances into cross-shot scoring. As a baseline, we propose EntityMem, a memory-augmented generation system that stores verified per-entity visual references in a persistent memory bank before generation begins. Experiments show that cross-shot entity consistency degrades sharply with recurrence distance in existing methods, and that explicit per-entity memory yields the highest character fidelity (Cohen's d = +2.33) and presence among methods evaluated.

인용

@article{heentitybench,
  title = {EntityBench: Towards Entity-Consistent Long-Range Multi-Shot Video Generation},
  author = {He, Ruozhen and Wei, Meng and Yang, Ziyan and Ordonez, Vicente},
  journal = {arXiv preprint arXiv:2605.15199},
  url = {https://arxiv.org/abs/2605.15199},
}

이 논문의 자동 생성된 질문, 주요 기여 및 한계

이 논문이 답하는 데 도움이 되는 질문

  • EntityBench는 무엇을 측정합니까? 긴 멀티숏 비디오에서 인물, 물체, 장소의 일관성을 평가합니다.
  • 규모는 얼마입니까? 140개 에피소드와 2,491개 숏이며 최대 50개 숏, 재등장 간격은 최대 48개 숏입니다.
  • 일관성은 어떻게 평가합니까? 품질, 프롬프트 정렬, 일관성을 따로 측정하고 올바른 개체 등장만 계산합니다.
  • EntityMem은 무엇입니까? 생성 전에 개체별 검증 참조를 저장하고 전체 시퀀스에서 사용하는 메모리 기반 baseline입니다.

주요 기여

  • 실제 서사 매체에서 얻은 인물, 물체, 장소의 숏별 일정을 제공합니다.
  • 세 난이도와 최대 13명 인물, 8개 장소, 22개 반복 물체를 포함합니다.
  • 시각 품질, 프롬프트 정렬, 장거리 일관성을 분리 평가합니다.
  • EntityMem은 인물 충실도를 크게 높이는 메모리 baseline을 제공합니다.

한계 및 유의 사항

  • 서사 자료가 상호작용형 또는 다큐멘터리 영상의 모든 일관성을 포함하지 않을 수 있습니다.
  • EntityMem은 생성 전 검증된 참조가 있다고 가정합니다.
  • 동작, 촬영 양식, 인과적 연속성은 향후 보완할 차원입니다.
  • 긴 간격의 성능 저하는 문제가 열려 있음을 보이며 벤치마크의 진단 가치를 높입니다.

이 결과를 읽는 방법

EntityBench는 긴 비디오 생성의 핵심 실패를 위한 세심한 시험대이며, 해석 가능한 평가와 실용적 메모리 baseline을 갖춥니다.