VisualNews : Benchmark and Challenges in Entity-aware Image Captioning

Resumen de prensa

Investigadores de la Universidad de Maryland (College Park), la Universidad de Virginia y la Universidad Rice han publicado Visual News, un conjunto de datos de más de un millón de imágenes de noticias emparejadas con el texto de los artículos, subtítulos y metadatos extraídos de cuatro medios —The Guardian, BBC, USA Today y The Washington Post—, lo que lo convierte en la colección más grande de su tipo hasta la fecha. El trabajo aborda un vacío real en la investigación sobre generación de subtítulos de imágenes: los conjuntos de datos existentes como Microsoft COCO entrenan a los modelos para producir descripciones genéricas como «un grupo de personas sosteniendo paraguas rojos», que no logran capturar el quién, el dónde y el qué que hacen significativa una fotografía de noticias. Para poner el conjunto de datos en uso, el equipo también construyó Visual News Captioner, un modelo basado en Transformer que toma información tanto de la imagen como del texto del artículo que la acompaña para generar subtítulos que contienen entidades nombradas específicas —personas, lugares y organizaciones— en lugar de marcadores de posición vagos. El modelo introduce varias incorporaciones técnicas, entre ellas un mecanismo de «Atención sobre la Atención» (Attention on Attention), una Capa de Selección Visual que vincula las características de imagen y texto durante la codificación, y un paso de Limpieza de Etiquetas (Tag-Cleaning) para manejar palabras raras que quedan fuera del vocabulario del modelo. Probado frente a enfoques competidores en tres conjuntos de datos, Visual News Captioner igualó o superó el estado del arte en métricas estándar de generación de subtítulos, usando aproximadamente la mitad de parámetros que su rival más cercano. Los investigadores también descubrieron que los modelos entrenados con datos de una agencia de noticias rindieron notablemente peor al ser evaluados con el contenido de otra agencia, lo que subraya cuánto varían el estilo de redacción y el enfoque editorial entre redacciones, y cuánto más difícil se vuelve el problema en un escenario verdaderamente diverso.