Deep Feature Aggregation and Image Re-ranking with Heat Diffusion for Image Retrieval

Resumo do comunicado de imprensa

Pesquisadores da Xi'an Jiaotong University e da University of Virginia desenvolveram um novo sistema de busca de imagens que toma emprestado um conceito da física — a difusão de calor — para tornar os mecanismos de busca visual mais precisos e eficientes. O problema central que eles abordaram é que sistemas padrão de recuperação de imagens podem ser confundidos por padrões visuais repetitivos, como as fileiras de janelas idênticas na fachada de um edifício, que inundam o sistema com informações redundantes e dificultam identificar o que é realmente distintivo em uma imagem. Para resolver isso, a equipe tratou cada atributo local extraído de uma rede neural convolucional como uma fonte de calor e, em seguida, usou a matemática da difusão de calor para medir quão "bursty" (em rajada) ou repetitivo é esse atributo — atributos que espalham calor amplamente por uma rede de vizinhos semelhantes são sinalizados como redundantes, enquanto atributos isolados que geram pouca transferência de calor são tratados como mais distintivos. O sistema então atribui pesos aos atributos de acordo, antes de combiná-los em um único descritor de imagem compacto. O mesmo princípio de difusão de calor também foi aplicado no nível da imagem, em que uma imagem de consulta atua como fonte de calor e o calor que ela espalha para as imagens candidatas do banco de dados é usado para reordenar os resultados da busca. Em testes em benchmarks padrão, incluindo os conjuntos de dados Oxford Buildings e Paris, a abordagem superou métodos concorrentes, em alguns casos melhorando a precisão da recuperação em mais de cinco pontos percentuais em conjuntos de dados de larga escala, mantendo-se rápida o suficiente para uso prático — tudo isso sem exigir nenhum dado de treinamento rotulado adicional.