Balanced Datasets Are Not Enough: Estimating and Mitigating Gender Bias in Deep Image Representations
新闻稿摘要
来自弗吉尼亚大学、加州大学洛杉矶分校和艾伦人工智能研究所的研究人员发现，仅仅平衡训练数据集不足以阻止 AI 图像识别系统放大性别刻板印象。团队研究了在两个广泛使用的数据集上训练的模型——标注日常物体的 COCO 和标注人类动作的 imSitu——并发现，即使他们人为地重新平衡数据，使男性和女性在每个类别标签旁出现的频率相同，训练得到的模型仍然学会以与在原始偏斜数据上训练的模型大致相同的被夸大比率将性别与这些类别关联起来。为了更精确地衡量这一问题，研究人员开发了两个新指标，他们称之为"数据集泄漏"和"模型泄漏"，用以量化一个外部观察者仅凭模型为一张图像所赋予的标签，就能多准确地猜出图中人物的性别；这两个度量之间的差距刻画了模型在其预测中超出数据本身所含信息之外、额外夹带了多少性别信息。他们对平衡为何失败的解释很直接：数据集包含无数与性别相关的未标注视觉线索——例如儿童的存在、服装风格或身体姿态——这些线索无法仅通过调整标签计数来中和。为了真正减少偏见，团队用一个对抗组件来训练模型，主动惩罚网络在其中间层编码可预测性别的特征，在仅牺牲约一到两个百分点分类准确率的情况下，将偏见放大降低了 53% 到 67%。这项工作对任何认为 AI 中的人口统计公平性可以仅通过数据集整理来实现的人提出了警示，并指向更深层的架构干预作为更可靠的前进路径。
摘要
在本工作中，我们提出了一个框架，用于衡量和缓解视觉识别任务中相对于受保护变量（例如性别）的内在偏见。我们表明，训练得到的模型会将目标标签与性别的关联显著放大，远超人们仅凭有偏数据集所能预期的程度。令人惊讶的是，我们表明，即使数据集被平衡到每个标签与每种性别等概率共现，学到的模型仍会放大标签与性别之间的关联，其程度就如同数据从未被平衡过一样！为缓解这一点，我们采用一种对抗方法，从深度神经网络的中间表示中移除对应于受保护变量的不需要的特征——并对其有效性提供了详细分析。在两个数据集上的实验——COCO 数据集（物体）和 imSitu 数据集（动作）——表明，在保持原始模型大部分准确率的同时，性别偏见放大有所降低。
详情
引用
@inproceedings{wang2019balanced,
title = {Balanced Datasets Are Not Enough: Estimating and Mitigating Gender Bias in Deep Image Representations},
author = {Wang, Tianlu and Zhao, Jieyu and Yatskar, Mark and Chang, Kai-Wei and Ordonez, Vicente},
year = {2019},
booktitle = {International Conference on Computer Vision. ICCV 2019},
url = {https://arxiv.org/abs/1811.08489},
}