Fairness and Bias Mitigation in Computer Vision: A Survey
Résumé du communiqué de presse
Une équipe de chercheurs de Michigan State University, de Rice University et de UC San Diego a publié une étude exhaustive examinant comment les biais et l'iniquité se manifestent dans les systèmes de vision par ordinateur et ce que le domaine a entrepris à ce sujet. Le problème central est simple : lorsque des modèles d'IA entraînés sur des données d'images du monde réel apprennent à reconnaître des visages, à décrire des scènes ou à détecter des objets, ils peuvent obtenir des résultats nettement moins bons pour certains groupes démographiques — par exemple, un système de reconnaissance faciale cité par les auteurs présentait un taux d'erreur de 0,7 % sur les visages à peau plus claire mais un taux d'erreur de 12,9 % sur les visages à peau plus foncée. Les chercheurs ont répertorié les origines de ces disparités, en les retraçant à la fois jusqu'aux jeux de données utilisés pour l'entraînement, qui reflètent souvent des biais sociétaux existants ou ont été collectés principalement dans certaines régions géographiques, et jusqu'aux choix de conception des modèles eux-mêmes, qui peuvent amplifier ces biais au-delà de ce qui était déjà présent dans les données. L'étude cartographie les principales approches techniques que les chercheurs ont développées pour y remédier, notamment les méthodes d'entraînement adverse qui tentent d'extraire des représentations apprises des attributs sensibles comme le genre ou l'origine ethnique, les techniques de rééquilibrage des données qui génèrent ou repondèrent des exemples pour égaliser les chances, et les cadres mathématiques qui caractérisent le compromis fondamental entre la précision d'un modèle et son équité. Les auteurs soulignent également que les modèles de fondation génératifs et multimodaux plus récents comme CLIP et les systèmes texte-image perpétuent ces mêmes problèmes tout en en introduisant de nouveaux, et qu'il n'existe encore aucune définition mathématique rigoureuse de l'équité pour les modèles génératifs — ce qui pointe vers une lacune importante que le domaine doit encore combler.
résumé
Les systèmes de vision par ordinateur ont connu des progrès rapides au cours des deux dernières décennies grâce à de multiples avancées dans le domaine. À mesure que ces systèmes sont de plus en plus déployés dans des applications du monde réel à enjeux élevés, il est impératif de s'assurer qu'ils ne propagent ni n'amplifient les tendances discriminatoires présentes dans les données historiques ou organisées par l'humain, et qu'ils n'apprennent pas par inadvertance des biais à partir de corrélations fallacieuses. Cet article présente une étude exhaustive sur l'équité qui résume et met en lumière les tendances et les succès en cours dans le contexte de la vision par ordinateur. Les sujets que nous abordons comprennent 1) L'origine et les définitions techniques de l'équité tirées de la littérature plus large sur l'apprentissage automatique équitable et des disciplines connexes. 2) Les travaux ayant cherché à découvrir et à analyser les biais dans les systèmes de vision par ordinateur. 3) Une synthèse des méthodes proposées ces dernières années pour atténuer les biais dans les systèmes de vision par ordinateur. 4) Une synthèse exhaustive des ressources et des jeux de données produits par les chercheurs pour mesurer, analyser et atténuer les biais et améliorer l'équité. 5) Une discussion sur les succès du domaine, les tendances persistantes dans le contexte des modèles de fondation multimodaux et génératifs, et les lacunes qu'il reste à combler. La caractérisation présentée devrait aider les chercheurs à comprendre l'importance de l'identification et de l'atténuation des biais en vision par ordinateur ainsi que l'état du domaine, et à dégager des directions potentielles pour les recherches futures.
détails
citation
@article{dehdashtian2024fairness,
title = {Fairness and Bias Mitigation in Computer Vision: A Survey},
author = {Dehdashtian, Sepehr and He, Ruozhen and Li, Yi and Balakrishnan, Guha and Vasconcelos, Nuno and Ordonez, Vicente and Boddeti, Vishnu Naresh},
year = {2024},
journal = {arXiv preprint arXiv:2408.02464},
url = {https://arxiv.org/abs/2408.02464},
}