Commonly Uncommon: Semantic Sparsity in Situation Recognition

Résumé du communiqué de presse

Des chercheurs de l'Université de Washington et de l'Allen Institute for Artificial Intelligence se sont attaqués à un problème tenace en vision par ordinateur : lorsque les systèmes d'IA tentent de décrire de manière structurée et détaillée ce qui se passe dans une photo — en identifiant non seulement une activité comme « porter », mais aussi qui porte, ce qui est porté et où — ils ont tendance à échouer dès que la scène implique une combinaison inhabituelle d'objets et de rôles. L'équipe a constaté que, dans le jeu de données de référence imSitu, environ 35 pour cent des prédictions requises impliquent des appariements objet-rôle vus moins de dix fois durant l'entraînement, et que les modèles existants perdent une précision significative précisément dans ces cas. Pour y remédier, les chercheurs ont mis au point deux techniques complémentaires. Premièrement, ils ont conçu un nouveau modèle mathématique appelé potentiel tensoriel compositionnel, intégré dans un cadre de champ aléatoire conditionnel (CRF), qui apprend des représentations partagées des noms à travers différents rôles — de sorte que la connaissance de l'apparence d'un « bébé », par exemple, puisse informer les prédictions, que le bébé apparaisse comme l'objet porté ou comme la personne qui porte. Deuxièmement, ils ont construit un pipeline d'augmentation sémantique des données qui convertit les situations d'entraînement annotées en courtes expressions textuelles, utilise ces expressions pour récupérer environ cinq millions d'images via la recherche d'images Google, et intègre les résultats bruités par un entraînement par vraisemblance marginale et par auto-apprentissage itératif. La combinaison des deux approches a amélioré la précision top-5 pour les verbes d'environ 6 pour cent et celle des rôles-noms de près de 10 pour cent par rapport à l'état de l'art antérieur, avec des gains relatifs encore plus importants sur les cas rares que ce travail vise spécifiquement. Ces résultats sont importants parce que la parcimonie sémantique — trop de combinaisons de sortie possibles, trop peu d'exemples pour la plupart d'entre elles — constitue un obstacle répandu dans les tâches de compréhension visuelle structurée, et ce travail offre une stratégie concrète et évolutive pour rendre les systèmes d'IA plus fiables face aux situations peu courantes qui, en pratique, sont assez fréquentes dans le monde réel.