プレスリリース要約
西安交通大学とバージニア大学の研究者らは、視覚検索エンジンをより正確かつ効率的にするために物理学の概念である熱拡散を借用した新しい画像検索システムを開発した。彼らが取り組んだ中心的な問題は、標準的な画像検索システムが、建物のファサードに並ぶ同一の窓のような反復的な視覚パターンによって惑わされうるという点である。こうしたパターンはシステムを冗長な情報で溢れさせ、画像において実際に何が特徴的であるかを識別することを難しくする。これを解決するため、研究チームは畳み込みニューラルネットワークから抽出された各局所特徴量を熱源として扱い、その後、熱拡散の数学を用いてその特徴量がどれだけ「バースト的」または反復的であるかを測定した。類似した近傍のネットワークを通じて熱を広く拡散させる特徴量は冗長であると判定され、ほとんど熱伝達を生じない孤立した特徴量はより特徴的であるとみなされる。次に本システムは、それに応じて特徴量に重みを割り当ててから、それらを単一のコンパクトな画像記述子に統合する。同じ熱拡散の原理は画像レベルにも適用され、クエリ画像が熱源として作用し、それが候補となるデータベース画像に拡散する温かさを用いて検索結果が再ランク付けされる。Oxford BuildingsやParisのデータセットを含む標準的なベンチマークで検証したところ、本手法は競合手法を上回り、大規模データセットでは場合によっては検索精度を5パーセントポイント以上向上させながらも、実用に十分な速度で動作した。しかもこれらはすべて、追加のラベル付き訓練データを一切必要とせずに達成された。
要旨
深層畳み込み特徴量に基づく画像検索は、広く用いられるベンチマークにおいて最先端の性能を実証してきた。本論文では、熱拡散のダイナミクスをシミュレートすることにより、深層畳み込み特徴量の集約と画像の再ランク付けに対処する統一的な解法を提示する。画像検索における特徴的な問題は、反復的または\emph{バースト的な}特徴量が最終的な画像表現を支配しがちであり、その結果、表現の識別性が低下することである。各深層特徴量を熱源とみなすことにより、我々の教師なし集約手法が\emph{バースト的な}特徴量の過剰表現を回避できることを示す。さらに、提案する集約手法の実用的な解法を提供し、実験的評価において本手法の効率性を示す。前述の深層特徴量集約手法に着想を得て、クエリを熱源とみなすことにより、与えられたクエリ画像に対して上位にランク付けされた多数の画像を再ランク付けする手法も提案する。最後に、一般的な公開ベンチマーク上で事前学習済みおよびファインチューニング済みの深層ネットワークを用いて提案手法を広範に評価し、従来研究と比較して優れた性能を示す。
詳細
引用
@article{pang2019deep,
title = {Deep Feature Aggregation and Image Re-ranking with Heat Diffusion for Image Retrieval},
author = {Pang, Shanmin and Ma, Jin and Xue, Jianru and Zhu, Jihua and Ordonez, Vicente},
year = {2019},
journal = {IEEE Transactions on Multimedia 2019 (Journal).},
url = {https://arxiv.org/abs/1805.08587},
}