新闻稿摘要
UC Santa Barbara 和莱斯大学的研究人员发现，GPT-2（最广泛使用的文本生成模型之一）会系统性地将女性与较低级别的职位头衔配对、将男性与较高级别的职位头衔配对——而且当提示中加入资历线索时，这种倾向会变得更严重。为研究该问题，研究团队构建了一个真实文本片段数据集，这些片段取自 Google 搜索结果，涵盖两个职业领域：美国参议员和计算机科学教授。他们随后通过交换性别或资历标签，为每个片段创建了配对的“反事实”版本，从而能够衡量模型的置信度如何随其所见的组合而变化。在一项困惑度测试中——本质上是询问 GPT-2 对给定句子的“意外”程度——模型始终认为女性担任资深头衔的可能性低于男性，而对于资浅头衔则情况相反。在第二项实验中，研究团队向模型输入仅在资历措辞上有所不同的性别中立提示，并让人类评估者对 GPT-2 生成回应中的语言性别进行分类；模型产生男性化文本的频率远高于参议员或教授的真实人口统计学比例所应有的水平，而且当提示中出现“senior（资深）”一词时，这一差距进一步扩大。这些发现之所以重要，是因为 GPT-2 及类似模型支撑着简历筛选器和 HR 聊天机器人等工具，这意味着这些复合的性别与资历偏见可能直接转化为女性在职业机会上的不平等。
摘要
即使在相同的职位头衔下，女性也常常被认为比她们的男性同行更资浅。尽管在自然语言处理（NLP）中对性别偏见的评估已取得显著进展，但现有研究很少探究针对性别群体的偏见在与其他社会偏见复合时如何变化。在这项工作中，我们通过引入一个用于探测复合偏见的新颖框架，研究资历如何影响预训练神经生成模型所表现出的性别偏见程度。我们贡献了一个跨两个领域（美国参议员职位和教授职位）的基准鲁棒性测试数据集，该数据集使用远程监督方法创建。我们的数据集包含具有潜在真实标签的人工撰写文本以及配对的反事实样本。随后我们考察了 GPT-2 的困惑度（perplexity）以及生成文本中性别化语言的出现频率。我们的结果表明，在两个领域中，GPT-2 都比真实情况更频繁地将女性视为资浅、将男性视为资深，从而放大了偏见。这些结果表明，使用 GPT-2 构建的 NLP 应用可能会在职业场合中伤害女性。
详情
引用
@inproceedings{honnavalli2022towards,
title = {Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation.},
author = {Honnavalli, Samhita and Parekh, Aesha and Ou, Lily and Groenwold, Sophie and Levy, Sharon and Ordonez, Vicente and Wang, William Yang},
year = {2022},
booktitle = {Language Resources and Evaluation Conference LREC 2022},
url = {https://arxiv.org/abs/2205.09830},
}