新闻稿摘要
来自密歇根州立大学、莱斯大学和加州大学圣地亚哥分校的一支研究团队发表了一篇全面综述，考察偏见和不公平如何在计算机视觉系统中出现，以及该领域为此做了哪些工作。核心问题很直接：当在真实世界图像数据上训练的 AI 模型学习识别人脸、描述场景或检测物体时，它们对某些人口群体的表现可能明显更差——例如，作者引用的一个人脸识别系统在浅肤色人脸上的错误率为 0.7%，而在深肤色人脸上的错误率为 12.9%。研究人员梳理了这些差异的来源，将其追溯到两方面：一是用于训练的数据集，它们往往反映既有的社会偏见或主要在某些地理区域采集；二是模型本身的设计选择，它们可能将这些偏见放大到超出数据中原有的程度。该综述梳理了研究人员为应对这一问题所开发的主要技术方法，包括试图从所学表示中剥离性别或种族等敏感属性的对抗训练方法、通过生成或重加权样本来公平竞争环境的数据再平衡技术，以及刻画模型准确性与公平性之间根本权衡的数学框架。作者还指出，CLIP 和文本生成图像系统等较新的生成式与多模态基础模型在延续这些问题的同时还引入了新问题，并且目前尚不存在针对生成式模型的严格数学公平性定义——这指向了该领域仍需弥合的一个重大空白。
摘要
在过去二十年里，由于该领域的多项进展，计算机视觉系统取得了快速发展。随着这些系统越来越多地被部署到高风险的现实应用中，迫切需要确保它们不会传播或放大历史数据或人工整理数据中的任何歧视性倾向，也不会无意中从虚假相关中学到偏见。本文对公平性进行了全面综述，总结并阐明了计算机视觉背景下正在进行的趋势和成功成果。我们讨论的主题包括：1）从更广义的公平机器学习文献及相邻学科中汲取的公平性的起源与技术定义；2）旨在发现和分析计算机视觉系统中偏见的工作；3）近年来提出的用于缓解计算机视觉系统偏见的方法概述；4）研究人员为衡量、分析、缓解偏见并增强公平性而产出的资源与数据集的全面总结；5）对该领域成功成果、多模态基础模型与生成式模型背景下的持续趋势，以及仍有待解决的空白的讨论。所呈现的刻画应有助于研究人员理解在计算机视觉中识别和缓解偏见的重要性、该领域的现状，并指明未来研究的潜在方向。
详情
引用
@article{dehdashtian2024fairness,
title = {Fairness and Bias Mitigation in Computer Vision: A Survey},
author = {Dehdashtian, Sepehr and He, Ruozhen and Li, Yi and Balakrishnan, Guha and Vasconcelos, Nuno and Ordonez, Vicente and Boddeti, Vishnu Naresh},
year = {2024},
journal = {arXiv preprint arXiv:2408.02464},
url = {https://arxiv.org/abs/2408.02464},
}