新闻稿摘要
西安交通大学和弗吉尼亚大学的研究人员开发了一种新的图像搜索系统，它借鉴了物理学中的一个概念——热扩散——以使视觉搜索引擎更准确、更高效。他们所攻克的核心问题是，标准的图像检索系统可能会被重复的视觉模式所干扰，例如建筑外立面上一排排相同的窗户，这些模式会用冗余信息淹没系统，使其更难识别出图像中真正具有辨识度的内容。为解决这一问题，研究团队将从卷积神经网络中提取的每个局部特征视为一个热源，然后利用热扩散的数学原理来衡量该特征的“突发性”或重复程度——那些通过相似邻居网络广泛传播热量的特征被标记为冗余，而那些产生很少热量传递的孤立特征则被视为更具辨识度。系统随后据此为特征分配权重，再将它们组合成单一紧凑的图像描述符。同样的热扩散原理也被应用于图像层面，其中查询图像充当热源，它向候选数据库图像传播的“热度”被用于对搜索结果进行重排序。在包括 Oxford Buildings 和 Paris 数据集在内的标准基准上的测试中，该方法优于竞争方法，在某些情况下将大规模数据集上的检索准确度提升了超过五个百分点，同时仍运行得足够快以供实际使用——而且全程无需任何额外的标注训练数据。
摘要
基于深度卷积特征的图像检索已在主流基准中展现出最先进的性能。在本文中，我们通过模拟热扩散的动力学，提出了一个统一的解决方案来处理深度卷积特征聚合和图像重排序。图像检索中的一个独特问题是，重复或“突发性（bursty）”特征往往会主导最终的图像表示，导致表示的可区分性降低。我们表明，通过将每个深度特征视为一个热源，我们的无监督聚合方法能够避免对“突发性”特征的过度表示。我们还为所提出的聚合方法提供了一个实用的解决方案，并进一步在实验评估中展示了我们方法的效率。受上述深度特征聚合方法的启发，我们还提出了一种方法，通过将查询视为热源，对给定查询图像的若干排名靠前的图像进行重排序。最后，我们使用预训练和微调的深度网络在常见的公开基准上对所提出的方法进行了广泛评估，并展示了相比先前工作的优越性能。
详情
引用
@article{pang2019deep,
title = {Deep Feature Aggregation and Image Re-ranking with Heat Diffusion for Image Retrieval},
author = {Pang, Shanmin and Ma, Jin and Xue, Jianru and Zhu, Jihua and Ordonez, Vicente},
year = {2019},
journal = {IEEE Transactions on Multimedia 2019 (Journal).},
url = {https://arxiv.org/abs/1805.08587},
}