Gender Bias in Contextualized Word Embeddings

Résumé du communiqué de presse

Des chercheurs de l'UCLA, de l'Université de Virginie, de l'Allen Institute for Artificial Intelligence et de l'Université de Cambridge ont découvert qu'ELMo, un système largement utilisé pour générer des représentations de mots sensibles au contexte en traitement automatique des langues, encode un biais de genre notable qui se propage en aval vers des applications concrètes. L'équipe a en partie attribué le problème à des données d'entraînement déséquilibrées : dans le corpus One Billion Word Benchmark utilisé pour entraîner ELMo, les pronoms masculins apparaissent environ trois fois plus souvent que les pronoms féminins, et les pronoms masculins coexistent plus fréquemment avec des termes professionnels, que ces métiers soient traditionnellement masculins ou féminins. À l'aide de l'analyse en composantes principales, les chercheurs ont montré que la géométrie interne d'ELMo capte en réalité le genre selon deux dimensions distinctes — l'une liée au contexte environnant, l'autre au mot lui-même — et qu'un classifieur peut prédire le genre d'une entité masculine à partir d'un mot de profession avec environ 14 points de pourcentage de précision en plus que pour une entité féminine, signe que le modèle traite les deux genres de manière inégale. Lorsqu'un système de résolution de coréférence à l'état de l'art construit sur ELMo a été testé sur WinoBias, un jeu de données diagnostique conçu pour sonder les stéréotypes de genre liés aux professions, il a présenté un écart de près de 30 points de pourcentage entre sa précision sur les exemples conformes aux stéréotypes de genre et ceux qui les contredisent — un résultat nettement pire qu'un système comparable utilisant les plongements GloVe plus anciens et non contextualisés. L'équipe a testé deux remèdes : l'augmentation des données d'entraînement par permutation des mots genrés pour créer des exemples équilibrés a largement éliminé le biais, tandis qu'une approche plus simple au moment du test, consistant à moyenner les plongements de phrases aux genres permutés, n'a fonctionné que partiellement. Ces résultats sont importants parce que les plongements contextualisés comme ELMo et BERT constituent de plus en plus l'épine dorsale des systèmes de TAL en production, ce qui signifie que des biais non examinés dans ces composants fondamentaux peuvent se propager discrètement dans des outils du monde réel.