Improving Visual Grounding by Encouraging Consistent Gradient-based Explanations

Resumen de prensa

Investigadores de la Universidad Rice y Adobe Research han desarrollado una nueva técnica de entrenamiento que mejora la forma en que los modelos de visión y lenguaje de IA localizan objetos y regiones en imágenes cuando se les proporciona una descripción textual. El problema que abordaron es que, si bien los modelos grandes entrenados con pares de imagen y texto a escala de internet pueden emparejar de manera aproximada palabras con regiones de imágenes, no se les enseña explícitamente a localizar las cosas con precisión. El enfoque del equipo, llamado Attention Mask Consistency (AMC), funciona observando los "mapas de calor de explicación" basados en gradientes que un modelo produce de forma natural al decidir si una imagen y un texto coinciden, y luego penalizando al modelo durante el entrenamiento cada vez que esos mapas de calor resaltan las partes equivocadas de la imagen, es decir, regiones fuera de las áreas anotadas por humanos. La penalización toma la forma de una pérdida de margen que empuja al modelo a concentrar la energía del mapa de calor dentro de las regiones anotadas en lugar de fuera de ellas. De manera crucial, el método no requiere un detector de objetos como intermediario, que es como funcionan la mayoría de los enfoques competidores, y puede superponerse sobre un modelo existente —en este caso ALBEF— sin reentrenar desde cero. En el benchmark de grounding visual Flickr30k, un modelo entrenado con AMC alcanzó un 86.49% de precisión, una mejora de más de cinco puntos porcentuales sobre el mejor resultado publicado previamente bajo supervisión comparable, y también estableció nuevas marcas en el conjunto de datos de expresiones referenciales RefCOCO+. El trabajo es importante porque ofrece un camino relativamente ligero hacia un mejor razonamiento espacial en los modelos de visión y lenguaje sin requerir la costosa infraestructura de un detector de objetos entrenado.