Gender Bias in Coreference Resolution: Evaluation and Debiasing Methods
新闻稿摘要
来自加州大学洛杉矶分校、弗吉尼亚大学和艾伦人工智能研究所（Allen Institute for Artificial Intelligence）的研究人员发现，广泛使用的共指消解系统——即识别句子中不同词语何时指代同一人或同一事物的软件——系统性地以可能在实际应用中伤害人们的方式反映了性别刻板印象。为了衡量这一问题，团队构建了一个名为 WinoBias 的新测试数据集，包含 3,160 个句子，这些句子将职业与带性别的代词配对，其方式从逻辑上不应影响代词指代的是哪个人——但往往确实产生了影响。当他们将三个成熟的共指系统在 WinoBias 上运行时，三者在代词符合性别刻板印象预期时（例如将“she”链接到“nurse”）的表现都明显优于违背预期的情况，F1 评分尺度上的平均性能差距为 21.1 分。研究人员将大部分偏见追溯到 OntoNotes 训练语料库（其中超过 80% 由带性别代词指代的实体为男性）以及编码了刻板关联的词嵌入。为应对这一问题，他们开发了一种数据增强技术，通过交换所有男性和女性指代来生成训练数据的镜像版本，并将其与现有的词嵌入去偏方法相结合。该组合有效地消除了 WinoBias 上的性能差距，且未明显损害标准基准上的准确率——这一结果之所以重要，是因为共指消解会进入众多下游语言技术之中，这意味着这些系统中未受约束的偏见可能会悄然在许多应用中传播。
摘要
我们引入了一个新基准 WinoBias，用于聚焦性别偏见的共指消解（coreference resolution）。我们的语料库包含 Winograd 模式风格的句子，其中的实体对应于以职业指代的人（例如 the nurse、the doctor、the carpenter）。我们证明，一个基于规则的、一个特征丰富的，以及一个神经共指系统，都以高于反刻板印象实体的准确率将带性别的代词链接到符合刻板印象的实体，F1 分数的平均差异为 21.1。最后，我们展示了一种数据增强方法，它与现有的词嵌入去偏技术相结合，消除了这些系统在 WinoBias 上表现出的偏见，且不会显著影响它们在现有共指基准数据集上的性能。我们的数据集和代码可在 http://winobias.org 获取。
详情
引用
@inproceedings{zhao2018gender,
title = {Gender Bias in Coreference Resolution: Evaluation and Debiasing Methods},
author = {Zhao, Jieyu and Wang, Tianlu and Yatskar, Mark and Ordonez, Vicente and Chang, Kai-Wei},
year = {2018},
booktitle = {North American Chapter of the Association for Computational Linguistics. NAACL 2018},
url = {https://arxiv.org/abs/1804.06876},
}