Gender Bias in Coreference Resolution: Evaluation and Debiasing Methods
Résumé du communiqué de presse
Des chercheurs de l'UCLA, de l'Université de Virginie et de l'Allen Institute for Artificial Intelligence ont découvert que des systèmes de résolution de coréférence largement utilisés — des logiciels qui identifient quand différents mots d'une phrase renvoient à la même personne ou au même objet — reflètent systématiquement des stéréotypes de genre d'une manière qui pourrait porter préjudice aux personnes dans des applications réelles. Pour mesurer le problème, l'équipe a construit un nouveau jeu de données de test appelé WinoBias, composé de 3 160 phrases qui associent des professions à des pronoms genrés d'une manière qui ne devrait pas, logiquement, influencer la personne à laquelle le pronom se rapporte — mais qui le fait souvent. Lorsqu'ils ont fait passer trois systèmes de coréférence établis à travers WinoBias, les trois ont obtenu des résultats nettement meilleurs lorsque les pronoms correspondaient aux attentes stéréotypiques de genre (associant « elle » à « infirmière », par exemple) que lorsqu'ils allaient à leur encontre, avec un écart de performance moyen de 21,1 points sur l'échelle de score F1. Les chercheurs ont attribué une grande partie du biais au corpus d'entraînement OntoNotes, où plus de 80 pour cent des entités désignées par des pronoms genrés étaient masculines, ainsi qu'aux plongements de mots qui encodent des associations stéréotypées. Pour contrer cela, ils ont développé une technique d'augmentation de données qui génère une version en miroir des données d'entraînement en permutant toutes les références masculines et féminines, et l'ont combinée à des méthodes existantes de débiaisement des plongements de mots. Cette combinaison a effectivement comblé l'écart de performance sur WinoBias sans nuire de manière significative à la précision sur les bancs d'essai standards — un résultat important parce que la résolution de coréférence alimente un large éventail de technologies langagières en aval, ce qui signifie qu'un biais non maîtrisé dans ces systèmes peut se propager discrètement à travers de nombreuses applications.
résumé
Nous introduisons un nouveau banc d'essai, WinoBias, pour la résolution de coréférence axé sur le biais de genre. Notre corpus contient des phrases de style schéma de Winograd avec des entités correspondant à des personnes désignées par leur profession (par exemple, l'infirmière, le médecin, le charpentier). Nous démontrons qu'un système de coréférence à base de règles, un système riche en caractéristiques et un système neuronal relient tous les pronoms genrés à des entités pro-stéréotypiques avec une précision supérieure à celle des entités anti-stéréotypiques, avec un écart moyen de 21,1 en score F1. Enfin, nous présentons une approche d'augmentation de données qui, combinée à des techniques existantes de débiaisement des plongements de mots, élimine le biais démontré par ces systèmes sur WinoBias sans affecter significativement leurs performances sur les jeux de données de référence existants pour la coréférence. Notre jeu de données et notre code sont disponibles à l'adresse http://winobias.org.
détails
citation
@inproceedings{zhao2018gender,
title = {Gender Bias in Coreference Resolution: Evaluation and Debiasing Methods},
author = {Zhao, Jieyu and Wang, Tianlu and Yatskar, Mark and Ordonez, Vicente and Chang, Kai-Wei},
year = {2018},
booktitle = {North American Chapter of the Association for Computational Linguistics. NAACL 2018},
url = {https://arxiv.org/abs/1804.06876},
}