Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation.
Résumé du communiqué de presse
Des chercheurs de l'UC Santa Barbara et de l'Université Rice ont constaté que GPT-2, l'un des modèles de génération de texte les plus utilisés, associe systématiquement les femmes à des intitulés de poste de rang inférieur et les hommes à des intitulés de rang supérieur — et que cette tendance s'aggrave lorsque des indices d'ancienneté sont ajoutés à une invite. Pour étudier le problème, l'équipe a constitué un jeu de données d'extraits de texte du monde réel tirés des résultats de recherche Google couvrant deux domaines professionnels : les sénateurs américains et les professeurs d'informatique. Ils ont ensuite créé des versions « contrefactuelles » appariées de chaque extrait en permutant soit l'étiquette de genre, soit celle d'ancienneté, ce qui leur a permis de mesurer comment la confiance du modèle variait selon la combinaison qu'il rencontrait. Dans un test de perplexité — qui consiste essentiellement à mesurer à quel point GPT-2 est surpris par une phrase donnée —, le modèle jugeait constamment moins plausible qu'une femme occupe un titre senior que ce ne soit le cas pour un homme, tandis que l'inverse valait pour les titres juniors. Dans une seconde expérience, l'équipe a fourni au modèle des invites neutres du point de vue du genre, ne variant que par la formulation de l'ancienneté, et a fait classer par des évaluateurs humains le genre du langage que GPT-2 générait en réponse ; le modèle produisait du texte au genre masculin bien plus souvent que ne le justifieraient les données démographiques réelles des sénateurs ou des professeurs, et l'écart se creusait lorsque le mot « senior » apparaissait dans l'invite. Ces conclusions importent car GPT-2 et des modèles similaires sous-tendent des outils tels que les systèmes de tri de CV et les chatbots de ressources humaines, ce qui signifie que ces biais composés de genre et d'ancienneté pourraient se traduire directement par des opportunités professionnelles inégales pour les femmes.
résumé
Les femmes sont souvent perçues comme moins seniors que leurs homologues masculins, même à intitulés de poste identiques. Bien que des progrès significatifs aient été réalisés dans l'évaluation des biais de genre en traitement automatique du langage naturel (TALN), les études existantes examinent rarement comment les biais envers les groupes de genre évoluent lorsqu'ils se combinent à d'autres biais sociétaux. Dans ce travail, nous étudions comment l'ancienneté influe sur le degré de biais de genre manifesté par les modèles de génération neuronale pré-entraînés, en introduisant un nouveau cadre pour sonder les biais composés. Nous contribuons un jeu de données de test de robustesse couvrant deux domaines, les sénateurs et les professeurs aux États-Unis, créé à l'aide d'une méthode de supervision distante. Notre jeu de données comprend du texte rédigé par des humains avec une vérité-terrain sous-jacente et des contrefactuels appariés. Nous examinons ensuite la perplexité de GPT-2 et la fréquence du langage genré dans le texte généré. Nos résultats montrent que GPT-2 amplifie le biais en considérant les femmes comme juniors et les hommes comme seniors plus souvent que ne l'indique la vérité-terrain dans les deux domaines. Ces résultats suggèrent que les applications de TALN construites à l'aide de GPT-2 pourraient nuire aux femmes dans leurs fonctions professionnelles.
détails
citation
@inproceedings{honnavalli2022towards,
title = {Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation.},
author = {Honnavalli, Samhita and Parekh, Aesha and Ou, Lily and Groenwold, Sophie and Levy, Sharon and Ordonez, Vicente and Wang, William Yang},
year = {2022},
booktitle = {Language Resources and Evaluation Conference LREC 2022},
url = {https://arxiv.org/abs/2205.09830},
}