Variation of Gender Biases in Visual Recognition Models Before and After Finetuning

Résumé du communiqué de presse

Des chercheurs de l'USC, de Columbia, de Meta AI et de Rice University ont mis au point un cadre permettant de suivre comment les biais de genre intégrés dans des modèles de vision par ordinateur pré-entraînés populaires se comportent lorsque ces modèles sont affinés pour des tâches spécifiques en aval — une question qui a reçu étonnamment peu d'attention systématique malgré la large réutilisation de ces modèles pré-entraînés dans l'industrie et le milieu universitaire. L'équipe a constitué des ensembles soigneusement sélectionnés d'images de référence tirées des jeux de données COCO et OpenImages, en associant des objets du quotidien comme des planches de surf et des voitures à des images d'hommes et de femmes, puis a mesuré à quel point les représentations internes des caractéristiques d'un modèle regroupaient ces images d'objets avec un genre plutôt qu'avec l'autre, tant avant qu'après l'affinage. En testant six modèles prêts à l'emploi — dont des variantes de ResNet, CLIP, MoCo et SimCLR — selon différentes architectures, tailles de jeux de données d'entraînement et régimes d'entraînement supervisé ou auto-supervisé, les chercheurs ont relevé trois tendances notables : les modèles supervisés sur des jeux de données à grande échelle comme ImageNet-21k avaient tendance à transporter obstinément leurs biais de pré-entraînement vers toute nouvelle tâche pour laquelle ils étaient affinés ; l'affinage sur un jeu de données cible plus grand comme OpenImages était plus susceptible d'introduire de nouvelles associations biaisées que l'affinage sur un jeu plus petit comme COCO ; et les modèles auto-supervisés, en particulier MoCo, montraient une moindre conservation des biais que leurs homologues supervisés, bien que cela ne fût pas universel. Pour quantifier ces dynamiques, l'équipe a introduit une métrique appelée Bias Transfer Score, fondée sur la corrélation de rang de Spearman, qui mesure dans quelle mesure les associations liées aux biais d'un modèle évoluent entre les étapes de pré-entraînement et d'affinage. Ce travail revêt une importance pratique car de nombreux développeurs adoptent des modèles pré-entraînés comme des boîtes noires, sans visibilité sur les biais sociétaux qu'ils pourraient importer silencieusement dans leurs applications.