Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation.
Resumo do comunicado de imprensa
Pesquisadores da UC Santa Barbara e da Rice University descobriram que o GPT-2, um dos modelos de geração de texto mais utilizados, associa sistematicamente as mulheres a cargos de menor hierarquia e os homens a cargos mais altos — e que essa tendência piora quando pistas de senioridade são adicionadas a um prompt. Para estudar o problema, a equipe construiu um conjunto de dados de trechos de texto do mundo real extraídos de resultados de busca do Google, abrangendo dois domínios profissionais: senadores dos EUA e professores de ciência da computação. Em seguida, criaram versões "contrafactuais" pareadas de cada trecho, trocando o gênero ou o rótulo de senioridade, o que lhes permitiu medir como a confiança do modelo mudava dependendo da combinação apresentada. Em um teste de perplexidade — essencialmente, perguntando o quão surpreso o GPT-2 fica diante de uma determinada frase — o modelo consistentemente considerava menos plausível que uma mulher ocupasse um cargo sênior do que um homem, enquanto o inverso valia para cargos júnior. Em um segundo experimento, a equipe alimentou o modelo com prompts neutros em relação a gênero que variavam apenas na formulação de senioridade e pediu a avaliadores humanos que classificassem o gênero da linguagem gerada pelo GPT-2 em resposta; o modelo produziu texto com marcação masculina muito mais frequentemente do que a demografia real de senadores ou professores justificaria, e a diferença aumentava quando a palavra "sênior" aparecia no prompt. As descobertas são importantes porque o GPT-2 e modelos semelhantes sustentam ferramentas como triagem de currículos e chatbots de RH, o que significa que esses vieses combinados de gênero e senioridade poderiam se traduzir diretamente em oportunidades profissionais desiguais para as mulheres.
resumo
As mulheres são frequentemente percebidas como subalternas em relação a seus colegas homens, mesmo dentro dos mesmos cargos. Embora tenha havido progresso significativo na avaliação do viés de gênero no processamento de linguagem natural (NLP), os estudos existentes raramente investigam como os vieses em relação a grupos de gênero mudam quando combinados com outros vieses sociais. Neste trabalho, investigamos como a senioridade impacta o grau de viés de gênero exibido por modelos neurais de geração pré-treinados, introduzindo um novo framework para sondar o viés composto. Contribuímos com um conjunto de dados de benchmark para teste de robustez abrangendo dois domínios, senadores dos EUA e professores universitários, criado usando um método de supervisão distante (distant-supervision). Nosso conjunto de dados inclui texto escrito por humanos com ground truth subjacente e contrafactuais pareados. Em seguida, examinamos a perplexidade do GPT-2 e a frequência de linguagem com marcação de gênero no texto gerado. Nossos resultados mostram que o GPT-2 amplifica o viés ao considerar as mulheres como subalternas e os homens como seniores com mais frequência do que o ground truth em ambos os domínios. Esses resultados sugerem que aplicações de NLP construídas com o GPT-2 podem prejudicar as mulheres em contextos profissionais.
detalhes
citação
@inproceedings{honnavalli2022towards,
title = {Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation.},
author = {Honnavalli, Samhita and Parekh, Aesha and Ou, Lily and Groenwold, Sophie and Levy, Sharon and Ordonez, Vicente and Wang, William Yang},
year = {2022},
booktitle = {Language Resources and Evaluation Conference LREC 2022},
url = {https://arxiv.org/abs/2205.09830},
}