Balanced Datasets Are Not Enough: Estimating and Mitigating Gender Bias in Deep Image Representations

Résumé du communiqué de presse

Des chercheurs de l'université de Virginie, de l'UCLA et de l'Allen Institute for Artificial Intelligence ont découvert que le simple équilibrage des jeux de données d'entraînement ne suffit pas à empêcher les systèmes de reconnaissance d'images par IA d'amplifier les stéréotypes de genre. L'équipe a étudié des modèles entraînés sur deux jeux de données largement utilisés — COCO, qui étiquette des objets du quotidien, et imSitu, qui étiquette des actions humaines — et a constaté que même lorsqu'elle rééquilibrait artificiellement les données de sorte que les hommes et les femmes apparaissent aussi souvent aux côtés de chaque étiquette de catégorie, les modèles entraînés apprenaient malgré tout à associer le genre à ces catégories à des taux gonflés à peu près identiques à ceux des modèles entraînés sur les données déséquilibrées d'origine. Pour mesurer ce problème plus précisément, les chercheurs ont mis au point deux nouvelles métriques qu'ils appellent « fuite du jeu de données » et « fuite du modèle », qui quantifient avec quelle exactitude un observateur extérieur pourrait deviner le genre d'une personne dans une image simplement en examinant les étiquettes qu'un modèle lui attribue ; l'écart entre ces deux mesures capture la quantité d'information de genre supplémentaire que le modèle introduit subrepticement dans ses prédictions au-delà de ce que contiennent les données elles-mêmes. Leur explication de l'échec de l'équilibrage est simple : les jeux de données contiennent d'innombrables indices visuels non étiquetés — comme la présence d'enfants, les styles vestimentaires ou la posture corporelle — qui sont corrélés au genre et ne peuvent être neutralisés par le seul ajustement du décompte des étiquettes. Pour réellement réduire le biais, l'équipe a entraîné des modèles dotés d'un composant adverse qui pénalise activement le réseau lorsqu'il encode des caractéristiques prédictives du genre dans ses couches intermédiaires, obtenant une réduction de 53 à 67 pour cent de l'amplification du biais tout en ne sacrifiant qu'environ un à deux points de pourcentage de précision de classification. Ces travaux constituent une mise en garde pour quiconque suppose que l'équité démographique en IA peut être atteinte par la seule sélection des jeux de données, et ils orientent vers des interventions architecturales plus profondes comme voie plus fiable.