Drill-down: Interactive Retrieval of Complex Scenes using Natural Language Queries

Resumen de prensa

Investigadores de la Universidad de Virginia e IBM Research han desarrollado un sistema llamado Drill-down que permite a los usuarios encontrar imágenes específicas escribiendo una serie de descripciones en lenguaje natural, cada una de las cuales acota más la búsqueda en lugar de intentar capturar todo en una sola consulta. El problema que abordaban es uno familiar: las herramientas de búsqueda de imágenes existentes tienen dificultades cuando un usuario quiere localizar una fotografía muy particular de una escena compleja que contiene múltiples objetos, porque condensar la descripción de toda una escena en una sola oración es difícil e impreciso. En lugar de forzar ese enfoque de un solo intento, Drill-down permite a los usuarios comenzar de forma amplia —por ejemplo, «un grupo de personas posando en un parque»— y añadir progresivamente detalles más específicos a lo largo de varios turnos, como «hay una novia entre ellos», con el sistema actualizando sus resultados cada vez. La contribución técnica clave es un conjunto compacto de vectores de estado que almacenan y organizan el historial de las consultas de un usuario, donde cada vector aprende a rastrear una parte distinta de la escena en lugar de colapsar todo en una sola representación, que es como funcionaban los sistemas anteriores de recuperación basados en diálogo. Fundamentalmente, el equipo descubrió que podían entrenar el modelo sin recopilar costosas sesiones de búsqueda anotadas por humanos, utilizando en su lugar subtítulos de regiones de imágenes existentes del conjunto de datos Visual Genome como un sustituto económico de las consultas reales de usuarios. Las pruebas con usuarios tanto simulados como humanos reales mostraron que Drill-down superó a los métodos competidores usando en realidad menos memoria y menos parámetros, y más del 80 por ciento de los evaluadores humanos localizaron con éxito su imagen objetivo en cinco turnos. El trabajo sugiere que dividir la búsqueda de imágenes en un intercambio conversacional es un camino práctico hacia la recuperación de imágenes muy específicas en colecciones grandes y diversas.