Deep Feature Aggregation and Image Re-ranking with Heat Diffusion for Image Retrieval
Краткое изложение пресс-релиза
Исследователи из Xi'an Jiaotong University и University of Virginia разработали новую систему поиска изображений, которая заимствует понятие из физики — теплопроводность — чтобы сделать визуальные поисковые системы более точными и эффективными. Основная проблема, за которую они взялись, состоит в том, что стандартные системы поиска изображений могут сбиваться повторяющимися визуальными узорами, такими как ряды одинаковых окон на фасаде здания, которые наводняют систему избыточной информацией и затрудняют определение того, что на самом деле отличает изображение. Чтобы это исправить, команда рассматривала каждый локальный признак, извлечённый из свёрточной нейронной сети, как источник тепла, а затем использовала математику теплопроводности для измерения того, насколько «пакетным» или повторяющимся является этот признак — признаки, широко распространяющие тепло через сеть похожих соседей, помечаются как избыточные, тогда как изолированные признаки, порождающие малый теплоперенос, считаются более различимыми. Затем система соответственно присваивает признакам веса перед объединением их в единый компактный дескриптор изображения. Тот же принцип теплопроводности применялся и на уровне изображений, где изображение-запрос выступает источником тепла, а теплота, которую оно распространяет на изображения-кандидаты из базы данных, используется для переранжирования результатов поиска. Тестирование на стандартных бенчмарках, включая наборы данных Oxford Buildings и Paris, показало, что подход превзошёл конкурирующие методы, в некоторых случаях улучшая точность поиска более чем на пять процентных пунктов на крупномасштабных наборах данных, при этом всё ещё работая достаточно быстро для практического применения — и всё это без необходимости в каких-либо дополнительных размеченных обучающих данных.
аннотация
Поиск изображений на основе глубоких свёрточных признаков продемонстрировал результаты современного уровня на популярных бенчмарках. В этой статье мы представляем единое решение для агрегации глубоких свёрточных признаков и переранжирования изображений путём моделирования динамики теплопроводности. Характерная проблема в поиске изображений состоит в том, что повторяющиеся или \emph{пакетные} признаки склонны доминировать в итоговых представлениях изображений, делая представления менее различимыми. Мы показываем, что, рассматривая каждый глубокий признак как источник тепла, наш метод агрегации без учителя способен избежать чрезмерного представления \emph{пакетных} признаков. Дополнительно мы предоставляем практическое решение для предложенного метода агрегации и далее показываем эффективность нашего метода в экспериментальной оценке. Вдохновлённые упомянутым методом агрегации глубоких признаков, мы также предлагаем метод переранжирования ряда наиболее высоко ранжированных изображений для заданного изображения-запроса, рассматривая запрос как источник тепла. Наконец, мы подробно оцениваем предложенный подход с предобученными и дообученными глубокими сетями на распространённых публичных бенчмарках и показываем превосходящее качество по сравнению с прежними работами.
подробности
цитирование
@article{pang2019deep,
title = {Deep Feature Aggregation and Image Re-ranking with Heat Diffusion for Image Retrieval},
author = {Pang, Shanmin and Ma, Jin and Xue, Jianru and Zhu, Jihua and Ordonez, Vicente},
year = {2019},
journal = {IEEE Transactions on Multimedia 2019 (Journal).},
url = {https://arxiv.org/abs/1805.08587},
}