Deep Feature Aggregation and Image Re-ranking with Heat Diffusion for Image Retrieval
Résumé du communiqué de presse
Des chercheurs de l'Université Jiaotong de Xi'an et de l'Université de Virginie ont mis au point un nouveau système de recherche d'images qui emprunte un concept à la physique — la diffusion de la chaleur — pour rendre les moteurs de recherche visuelle plus précis et plus efficaces. Le problème central qu'ils ont abordé est que les systèmes standards de recherche d'images peuvent être déstabilisés par des motifs visuels répétitifs, comme les rangées de fenêtres identiques sur la façade d'un bâtiment, qui inondent le système d'informations redondantes et compliquent l'identification de ce qui est réellement distinctif dans une image. Pour y remédier, l'équipe a traité chaque caractéristique locale extraite d'un réseau de neurones convolutif comme une source de chaleur, puis a utilisé les mathématiques de la diffusion de la chaleur pour mesurer à quel point cette caractéristique est « en rafale » ou répétitive — les caractéristiques qui diffusent largement leur chaleur à travers un réseau de voisins similaires sont signalées comme redondantes, tandis que les caractéristiques isolées qui génèrent peu de transfert de chaleur sont considérées comme plus distinctives. Le système attribue alors des poids aux caractéristiques en conséquence avant de les combiner en un unique descripteur d'image compact. Le même principe de diffusion de la chaleur a également été appliqué au niveau de l'image, où une image requête agit comme une source de chaleur, et la chaleur qu'elle diffuse vers les images candidates de la base de données sert à ré-ordonner les résultats de recherche. Lors de tests sur des bancs d'essai standards, dont les jeux de données Oxford Buildings et Paris, l'approche a surpassé les méthodes concurrentes, améliorant dans certains cas la précision de recherche de plus de cinq points de pourcentage sur des jeux de données à grande échelle, tout en restant suffisamment rapide pour un usage pratique — le tout sans nécessiter de données d'entraînement étiquetées supplémentaires.
résumé
La recherche d'images fondée sur des caractéristiques convolutives profondes a démontré des performances à l'état de l'art sur des bancs d'essai populaires. Dans cet article, nous présentons une solution unifiée pour traiter l'agrégation de caractéristiques convolutives profondes et le ré-ordonnancement d'images en simulant la dynamique de la diffusion de la chaleur. Un problème particulier en recherche d'images est que les caractéristiques répétitives ou \emph{en rafale} (bursty) tendent à dominer les représentations finales des images, ce qui les rend moins distinctives. Nous montrons qu'en considérant chaque caractéristique profonde comme une source de chaleur, notre méthode d'agrégation non supervisée parvient à éviter la surreprésentation des caractéristiques \emph{en rafale}. Nous fournissons en outre une solution pratique pour la méthode d'agrégation proposée et démontrons par ailleurs l'efficacité de notre approche dans l'évaluation expérimentale. Inspirés par la méthode d'agrégation de caractéristiques profondes susmentionnée, nous proposons également une méthode pour ré-ordonner un certain nombre d'images les mieux classées pour une image requête donnée, en considérant la requête comme la source de chaleur. Enfin, nous évaluons de manière approfondie l'approche proposée avec des réseaux profonds préentraînés et affinés sur des bancs d'essai publics courants, et démontrons des performances supérieures à celles des travaux antérieurs.
détails
citation
@article{pang2019deep,
title = {Deep Feature Aggregation and Image Re-ranking with Heat Diffusion for Image Retrieval},
author = {Pang, Shanmin and Ma, Jin and Xue, Jianru and Zhu, Jihua and Ordonez, Vicente},
year = {2019},
journal = {IEEE Transactions on Multimedia 2019 (Journal).},
url = {https://arxiv.org/abs/1805.08587},
}