SimVQA: Exploring Simulated Environments for Visual Question Answering.

Resumen de prensa

Investigadores de la Universidad Rice, el MIT-IBM Watson AI Lab y la Universidad de Virginia han encontrado una manera de usar imágenes sintéticas generadas por computadora para enseñar a los sistemas de respuesta visual a preguntas (VQA) habilidades que les cuesta aprender solo a partir de fotografías del mundo real. El problema central que abordó el equipo es que construir grandes conjuntos de datos de VQA a partir de imágenes reales es costoso, plantea preocupaciones de privacidad y limita la variedad de escenarios de los que un modelo puede aprender. Para sortear esto, los investigadores construyeron dos nuevos conjuntos de datos sintéticos —Hypersim-VQA y ThreeDWorld-VQA— ampliando un conjunto de datos de escenas 3D fotorrealistas existente y utilizando una plataforma de simulación de física para generar automáticamente imágenes emparejadas con conjuntos de preguntas y respuestas que abarcan conteo, color, existencia de objetos y relaciones espaciales. Sus experimentos mostraron que un modelo de VQA entrenado por completo sin preguntas de conteo de datos reales aún podía aprender a contar objetos en imágenes reales cuando se le daban únicamente ejemplos de conteo sintéticos durante el entrenamiento, demostrando una transferencia significativa a través de la considerable brecha visual entre las imágenes renderizadas y las fotográficas. El equipo también desarrolló una técnica llamada Feature Swapping (F-SWAP), que evita los enfoques tradicionales de adaptación de dominio como el entrenamiento adversarial simplemente intercambiando las representaciones de características a nivel de objeto entre imágenes reales y sintéticas durante el entrenamiento. Este método superó a alternativas más complejas, incluyendo la adaptación de dominio adversarial y la alineación por Maximum Mean Discrepancy, evitando al mismo tiempo la inestabilidad asociada con el entrenamiento generativo adversarial. El trabajo es importante porque ofrece un camino relativamente económico y seguro para la privacidad para ampliar los datos de entrenamiento de IA, y sugiere que los entornos sintéticos podrían desempeñar un papel práctico para llenar los vacíos en los conjuntos de datos del mundo real para sistemas de IA multimodal.