보도 자료 요약
Xi'an Jiaotong University와 버지니아 대학교의 연구진은 시각 검색 엔진을 더 정확하고 효율적으로 만들기 위해 물리학의 개념인 열 확산(heat diffusion)을 차용한 새로운 이미지 검색 시스템을 개발했다. 연구진이 다룬 핵심 문제는, 표준 이미지 검색 시스템이 건물 외벽의 동일한 창문 줄과 같은 반복적인 시각 패턴에 의해 혼란을 겪을 수 있다는 점인데, 이러한 패턴은 시스템을 중복 정보로 넘쳐나게 하여 이미지에서 실제로 무엇이 변별적인지를 식별하기 어렵게 만든다. 이를 해결하기 위해 연구팀은 합성곱 신경망에서 추출한 각 지역 특징을 열원으로 취급한 다음, 열 확산의 수학을 사용하여 그 특징이 얼마나 "돌발적"이거나 반복적인지를 측정했다. 유사한 이웃들의 네트워크 전반에 열을 널리 퍼뜨리는 특징은 중복적인 것으로 표시되고, 열 전달을 거의 일으키지 않는 고립된 특징은 더 변별적인 것으로 취급된다. 그런 다음 시스템은 특징들을 하나의 간결한 이미지 기술자(descriptor)로 결합하기 전에 그에 따라 가중치를 할당한다. 동일한 열 확산 원리는 이미지 수준에서도 적용되었는데, 질의 이미지가 열원 역할을 하고 그것이 후보 데이터베이스 이미지로 퍼뜨리는 온기가 검색 결과를 재순위화하는 데 사용된다. Oxford Buildings 및 Paris 데이터셋을 포함한 표준 벤치마크 테스트에서 이 접근법은 경쟁 방법을 능가했으며, 일부 경우 대규모 데이터셋에서 검색 정확도를 5%포인트 이상 향상시키면서도, 추가적인 라벨링된 학습 데이터를 전혀 요구하지 않고 실용적 사용에 충분히 빠르게 실행되었다.
초록
심층 합성곱 특징에 기반한 이미지 검색은 인기 있는 벤치마크에서 최첨단 성능을 입증해 왔다. 본 논문에서 우리는 열 확산(heat diffusion)의 동역학을 시뮬레이션함으로써 심층 합성곱 특징 집계와 이미지 재순위화(re-ranking)를 다루는 통합 해결책을 제시한다. 이미지 검색의 독특한 문제는 반복적이거나 \emph{돌발적인(bursty)} 특징이 최종 이미지 표현을 지배하는 경향이 있어 표현의 구별력이 떨어진다는 점이다. 우리는 각 심층 특징을 열원(heat source)으로 간주함으로써 우리의 비지도 집계 방법이 \emph{돌발적인} 특징의 과대 표현을 피할 수 있음을 보인다. 우리는 또한 제안된 집계 방법에 대한 실용적인 해결책을 제공하고, 실험적 평가에서 우리 방법의 효율성을 추가로 보인다. 앞서 언급한 심층 특징 집계 방법에서 영감을 받아, 우리는 또한 질의를 열원으로 간주하여 주어진 질의 이미지에 대해 상위 순위 이미지 다수를 재순위화하는 방법을 제안한다. 마지막으로, 우리는 공개 벤치마크에서 사전 학습 및 미세조정된 심층 네트워크로 제안된 접근법을 광범위하게 평가하고 이전 연구 대비 우수한 성능을 보인다.
세부 정보
인용
@article{pang2019deep,
title = {Deep Feature Aggregation and Image Re-ranking with Heat Diffusion for Image Retrieval},
author = {Pang, Shanmin and Ma, Jin and Xue, Jianru and Zhu, Jihua and Ordonez, Vicente},
year = {2019},
journal = {IEEE Transactions on Multimedia 2019 (Journal).},
url = {https://arxiv.org/abs/1805.08587},
}