新闻稿摘要
来自 UCLA、弗吉尼亚大学、Allen Institute for Artificial Intelligence 和剑桥大学的研究人员发现，ELMo——一个被广泛用于在自然语言处理中生成上下文感知词表示的系统——编码了有意义的性别偏见，而这种偏见会向下流入实际应用。团队将这一问题部分归因于训练数据的偏斜：在用于训练 ELMo 的 One Billion Word Benchmark 语料中，男性代词出现的频率约为女性代词的三倍，并且无论某项职业传统上是男性还是女性主导，男性代词都更频繁地与职业术语共现。研究人员通过主成分分析表明，ELMo 的内部几何结构实际上沿两个不同维度捕获了性别——一个与周围上下文相关，另一个与词本身相关——并且一个分类器从职业词预测男性实体性别的准确率，比预测女性实体高出约 14 个百分点，这是模型不均等地处理两种性别的迹象。当一个基于 ELMo 构建的最先进指代消解系统在 WinoBias（一个旨在探测职业性别刻板印象的诊断数据集）上测试时，它在性别刻板印象样本与反性别刻板印象样本上的准确率之间显示出近 30 个百分点的差距——明显差于使用较旧的、非上下文化的 GloVe 嵌入的可比系统。团队测试了两种补救措施：通过交换性别词来创建平衡样本以增广训练数据，在很大程度上消除了偏见；而一种更简单的测试时方法——对来自性别交换句子的嵌入取平均——只起到了部分作用。这些发现的意义在于，ELMo 和 BERT 等上下文化嵌入正日益成为生产级 NLP 系统的骨干，这意味着这些基础组件中未经审视的偏见可能悄然传播到真实世界的工具中。
摘要
在本文中，我们量化、分析并缓解 ELMo 上下文化词向量中所表现出的性别偏见。首先，我们进行了若干内在分析，发现：（1）ELMo 的训练数据中男性实体明显多于女性实体；（2）训练得到的 ELMo 嵌入系统性地编码了性别信息；（3）ELMo 对男性和女性实体的性别信息编码不均等。然后，我们表明，一个依赖 ELMo 的最先进指代消解系统继承了其偏见，并在 WinoBias 探针语料上表现出显著的偏见。最后，我们探索了两种缓解此类性别偏见的方法，并表明在 WinoBias 上表现出的偏见可以被消除。
引用
@inproceedings{zhao2019gender,
title = {Gender Bias in Contextualized Word Embeddings},
author = {Zhao, Jieyu and Wang, Tianlu and Yatskar, Mark and Cotterell, Ryan and Ordonez, Vicente and Chang, Kai-Wei},
year = {2019},
booktitle = {North American Chapter of the Association for Computational Linguistics. NAACL 2019},
url = {https://arxiv.org/abs/1904.03310},
}