Deep Feature Aggregation and Image Re-ranking with Heat Diffusion for Image Retrieval
Zusammenfassung der Pressemitteilung
Forscher der Xi'an Jiaotong University und der University of Virginia haben ein neues Bildsuchsystem entwickelt, das ein Konzept aus der Physik – die Wärmediffusion – entlehnt, um visuelle Suchmaschinen genauer und effizienter zu machen. Das Kernproblem, das sie angingen, besteht darin, dass herkömmliche Bildsuchsysteme durch wiederkehrende visuelle Muster aus dem Tritt gebracht werden können, etwa durch die Reihen identischer Fenster an der Fassade eines Gebäudes, die das System mit redundanter Information überfluten und es erschweren zu erkennen, was an einem Bild tatsächlich charakteristisch ist. Um dies zu beheben, behandelte das Team jedes lokale Merkmal, das aus einem konvolutionalen neuronalen Netz extrahiert wurde, als Wärmequelle und nutzte dann die Mathematik der Wärmediffusion, um zu messen, wie "bursty" oder wiederkehrend dieses Merkmal ist – Merkmale, die Wärme weiträumig durch ein Netzwerk ähnlicher Nachbarn verbreiten, werden als redundant markiert, während isolierte Merkmale, die wenig Wärmeübertragung erzeugen, als charakteristischer behandelt werden. Das System weist den Merkmalen anschließend entsprechende Gewichte zu, bevor es sie zu einem einzigen kompakten Bilddeskriptor zusammenführt. Dasselbe Wärmediffusionsprinzip wurde auch auf der Bildebene angewandt, wo ein Anfragebild als Wärmequelle fungiert und die Wärme, die es an die Kandidatenbilder der Datenbank abgibt, zur Neuordnung der Suchergebnisse verwendet wird. Bei Tests an Standard-Benchmarks, darunter die Datensätze Oxford Buildings und Paris, übertraf der Ansatz konkurrierende Methoden und verbesserte die Suchgenauigkeit in einigen Fällen um mehr als fünf Prozentpunkte bei groß angelegten Datensätzen, während er für den praktischen Einsatz noch immer schnell genug lief – und das alles, ohne zusätzliche gekennzeichnete Trainingsdaten zu benötigen.
Zusammenfassung
Die Bildsuche auf Basis tiefer konvolutionaler Merkmale hat in populären Benchmarks Spitzenleistungen gezeigt. In dieser Arbeit präsentieren wir eine einheitliche Lösung, um die Aggregation tiefer konvolutionaler Merkmale und das Re-Ranking von Bildern zu bewältigen, indem wir die Dynamik der Wärmediffusion simulieren. Ein charakteristisches Problem bei der Bildsuche besteht darin, dass wiederkehrende oder \emph{bursty} (gehäuft auftretende) Merkmale dazu neigen, die finalen Bildrepräsentationen zu dominieren, was zu weniger unterscheidbaren Repräsentationen führt. Wir zeigen, dass unsere unüberwachte Aggregationsmethode eine Überrepräsentation von \emph{bursty} Merkmalen vermeiden kann, indem sie jedes tiefe Merkmal als Wärmequelle betrachtet. Zusätzlich liefern wir eine praktische Lösung für die vorgeschlagene Aggregationsmethode und zeigen darüber hinaus die Effizienz unserer Methode in der experimentellen Auswertung. Inspiriert von der genannten Methode zur Aggregation tiefer Merkmale schlagen wir außerdem eine Methode vor, um eine Reihe der bestplatzierten Bilder für ein gegebenes Anfragebild neu zu ordnen, indem die Anfrage als Wärmequelle betrachtet wird. Schließlich evaluieren wir den vorgeschlagenen Ansatz umfassend mit vortrainierten und feinabgestimmten tiefen Netzwerken auf gängigen öffentlichen Benchmarks und zeigen eine überlegene Leistung im Vergleich zu früheren Arbeiten.
Details
Zitation
@article{pang2019deep,
title = {Deep Feature Aggregation and Image Re-ranking with Heat Diffusion for Image Retrieval},
author = {Pang, Shanmin and Ma, Jin and Xue, Jianru and Zhu, Jihua and Ordonez, Vicente},
year = {2019},
journal = {IEEE Transactions on Multimedia 2019 (Journal).},
url = {https://arxiv.org/abs/1805.08587},
}