General Multi-label Image Classification with Transformers

보도 자료 요약

버지니아 대학교의 연구진은 단일 이미지 내에서 여러 객체나 개념을 동시에 식별하는 — 다중 레이블 이미지 분류로 알려진 작업 — 컴퓨터의 능력을 향상시키는 Classification Transformer (C-Tran)이라는 새로운 딥러닝 시스템을 개발했다. 각 레이블 예측을 대체로 개별적으로 다루거나 레이블 간 관계를 포착하기 위해 미리 정의된 지식 그래프에 의존하는 대부분의 기존 접근법과 달리, C-Tran은 이미지 특징과 레이블 정보를 모두 Transformer 인코더에 함께 입력하는데, 이는 최근 자연어 처리의 발전을 이끈 것과 동일한 유형의 아키텍처이다. 핵심 혁신은 Label Mask Training이라는 학습 절차로, 모델이 다른 레이블들에 대한 부분적 지식이 주어졌을 때 무작위로 숨겨진 레이블을 예측하는 법을 학습하는데, 이는 BERT와 같은 언어 모델을 학습하는 데 사용되는 빈칸 채우기 연습과 매우 유사하다. 이 접근법은 손으로 만든 규칙 없이도 시스템이 레이블들이 서로 어떻게 관련되는지를 — 예를 들어 포크와 나이프가 함께 나타나는 경향이 있다는 것을 — 이해하도록 가르친다. 표준 분류를 넘어, C-Tran은 추론 시점에 부분적인 레이블 정보도 받아들일 수 있는데, 이는 사용자가 모델에게 특정 레이블이 확실히 존재하거나 부재한다고 알려주고 나머지 미지의 것들에 대해 더 정확한 예측을 받을 수 있음을 의미한다. 이 시스템은 Microsoft COCO와 Visual Genome을 포함한 벤치마크 데이터셋에서 최첨단 결과를 달성했으며, 네 개의 데이터셋에서 부분적으로 알려졌거나 보충적인 레이블로 테스트했을 때도 경쟁 방법들을 능가했다. 실용적 의의는 실세계 이미지가 흔히 — 위치 태그나 캡션 같은 — 불완전하거나 맥락적인 메타데이터와 함께 제공되며, C-Tran이 단일 통합 프레임워크 내에서 그런 종류의 부분적 증거를 유연하게 활용하도록 설계된 최초의 모델이라는 점이다.