新闻稿摘要
来自 USC、哥伦比亚大学、Meta AI 和莱斯大学的研究人员开发了一个框架，用于追踪流行的预训练计算机视觉模型中所嵌入的性别偏见在为特定下游任务微调时如何表现——尽管这些预训练模型在工业界和学术界被广泛复用，这一问题却出人意料地很少得到系统性关注。该团队构建了取自 COCO 和 OpenImages 数据集的精选参考图像集，将冲浪板和汽车等日常物体与男性和女性的图像配对，然后衡量在微调前后模型的内部特征表示将这些物体图像与某一性别（相对于另一性别）聚集在一起的紧密程度。研究人员测试了六个现成模型——包括 ResNet 变体、CLIP、MoCo 和 SimCLR——涵盖不同架构、训练数据集规模以及有监督与自监督的训练范式，发现了三个值得注意的模式：在 ImageNet-21k 等大规模数据集上有监督训练的模型，往往会顽固地把其预训练偏见带入它们被微调到的任何新任务中；在 OpenImages 这样更大的目标数据集上微调，比在 COCO 这样较小的数据集上微调更有可能引入新的有偏关联；而自监督模型，尤其是 MoCo，相比其有监督对应模型表现出更少的偏见保留，尽管这并非普遍如此。为量化这些动态变化，团队引入了一个名为偏见迁移分数（Bias Transfer Score）的指标，它基于 Spearman 秩相关，衡量模型与偏见相关的关联在预训练与微调阶段之间的偏移程度。这项工作具有实际意义，因为许多开发者把预训练模型当作黑箱来采用，却无从了解它们可能悄然导入其应用中的是何种社会偏见。
摘要
我们提出了一个框架，用于衡量在为下游任务微调大规模视觉识别模型前后偏见是如何变化的。众所周知，在不断增长的数据量上训练的深度学习模型会编码社会偏见。如今许多计算机视觉系统都依赖于通常在大规模数据集上预训练的模型。尽管已经针对下游任务的模型调优开发了偏见缓解技术，但目前尚不清楚预训练模型中已编码的偏见会产生何种影响。我们的框架纳入了表示单个概念以及概念配对的若干组典范图像（canonical images），以凸显一系列现成预训练模型在不同模型规模、数据集规模和训练目标下偏见的变化。通过我们的分析，我们发现：（1）与自监督模型相比，在 ImageNet-21k 等数据集上训练的有监督模型更有可能不论目标数据集如何都保留其预训练偏见。我们还发现：（2）在更大规模数据集上微调的模型更有可能引入新的有偏关联。我们的结果还表明：（3）偏见会迁移到微调后的模型，且微调目标和数据集会影响所迁移偏见的程度。
详情
引用
@inproceedings{ranjit2023variation,
title = {Variation of Gender Biases in Visual Recognition Models Before and After Finetuning},
author = {Ranjit, Jaspreet and Wang, Tianlu and Ray, Baishakhi and Ordonez, Vicente},
year = {2023},
booktitle = {Workshop on Algorithmic Fairness through the Lens of Time at NeuRIPS 2023},
url = {https://arxiv.org/abs/2303.07615},
}