SimVQA: Exploring Simulated Environments for Visual Question Answering.

Résumé du communiqué de presse

Des chercheurs de l'Université Rice, du MIT-IBM Watson AI Lab et de l'Université de Virginie ont trouvé un moyen d'utiliser des images de synthèse générées par ordinateur pour enseigner aux systèmes de question-réponse visuelle (VQA) des compétences qu'ils peinent à apprendre à partir de photographies du monde réel seules. Le problème central que l'équipe a abordé est que la constitution de grands jeux de données VQA à partir d'images réelles est coûteuse, soulève des préoccupations de confidentialité et limite la variété des scénarios à partir desquels un modèle peut apprendre. Pour contourner cela, les chercheurs ont créé deux nouveaux jeux de données synthétiques — Hypersim-VQA et ThreeDWorld-VQA — en étendant un jeu de données existant de scènes 3D photoréalistes et en utilisant une plateforme de simulation physique pour générer automatiquement des images associées à des ensembles de questions-réponses portant sur le comptage, la couleur, l'existence d'objets et les relations spatiales. Leurs expériences ont montré qu'un modèle VQA entraîné entièrement sans questions de comptage issues de données réelles pouvait néanmoins apprendre à compter des objets dans des images réelles lorsqu'on ne lui fournissait que des exemples de comptage synthétiques pendant l'entraînement, démontrant un transfert significatif malgré l'écart visuel important entre les images rendues et photographiques. L'équipe a également développé une technique appelée Échange de Caractéristiques (F-SWAP), qui contourne les approches traditionnelles d'adaptation de domaine comme l'entraînement adversarial en se contentant de permuter les représentations de caractéristiques au niveau des objets entre images réelles et synthétiques pendant l'entraînement. Cette méthode a surpassé des alternatives plus complexes, notamment l'adaptation de domaine adversariale et l'alignement par Maximum Mean Discrepancy, tout en évitant l'instabilité associée à l'entraînement adversarial génératif. Ce travail est important car il offre une voie relativement peu coûteuse et respectueuse de la confidentialité pour étendre les données d'entraînement de l'IA, et suggère que les environnements synthétiques pourraient jouer un rôle concret pour combler les lacunes des jeux de données du monde réel destinés aux systèmes d'IA multimodaux.