Moviescope: Large-scale Analysis of Movies using Multiple Modalities

보도 자료 요약

버지니아 대학교와 Microsoft의 연구자들은 서로 다른 유형의 데이터가 장르와 제작 예산 같은 고수준 영화 속성을 얼마나 잘 예측할 수 있는지를 체계적으로 시험하기 위해, YouTube, Wikipedia, IMDb를 포함한 출처에서 가져온 비디오 예고편, 오디오, 영화 포스터, 텍스트 줄거리 요약, 메타데이터를 짝지은 5,000편 영화의 데이터셋인 Moviescope를 공개했다. 연구팀은 단어 또는 프레임 임베딩에 대한 단순한 평균 연산, 즉 이들이 fastText 및 fastVideo라 부르는 방법이 LSTM 순환 신경망이나 짧은 클립을 위해 설계된 행동 인식 모델 같은 연산 비용이 더 큰 접근법을 일관되게 능가함을 발견했는데, 이는 전체적인 영화 수준의 분류에서는 시간 순서를 보존하는 것이 연구자들이 예상할 만한 것보다 덜 중요함을 시사한다. 텍스트 기반 줄거리 요약은 장르를 예측하는 가장 강력한 단일 예측 요인으로 드러나 비디오와 심지어 구조화된 메타데이터까지 앞섰으며, 오디오는 예산을 추정하는 데 놀라울 만큼 유용하여 같은 예고편의 비디오 신호를 능가했다. Amazon Mechanical Turk를 사용한 인간 연구는 사람들이 모델보다 미미하게 더 나은 성능을 보였음을 나타냈는데, 인간은 줄거리 텍스트를 읽을 때 가장 잘 수행했고 원시 비디오 프레임에서 가장 어려움을 겪었다. 다섯 가지 양식을 모두 결합했을 때 최고의 전체 결과가 나와, 각 데이터 유형이 다른 것들이 놓치는 무언가를 포착함을 확인했다. 이 연구는 기존 대부분의 비디오 데이터셋이 짧고 고립된 행동 클립에 초점을 맞추는 반면 Moviescope는 영화가 요구하는 장거리 서사 수준의 이해를 위해 설계되었다는 점에서 의미가 있으며, 저자들은 다른 연구자들에게 멀티모달 비디오 분석을 위한 실용적 벤치마크를 제공하기 위해 데이터셋, 사전학습 임베딩, 코드를 공개하고 있다.