Fairness and Bias Mitigation in Computer Vision: A Survey
Краткое изложение пресс-релиза
Группа исследователей из Michigan State University, Rice University и UC San Diego опубликовала всеобъемлющий обзор, посвящённый тому, как предвзятость и несправедливость проявляются в системах компьютерного зрения и что в этой области с этим делается. Суть проблемы проста: когда модели ИИ, обученные на реальных изображениях, учатся распознавать лица, описывать сцены или обнаруживать объекты, они могут работать заметно хуже для определённых демографических групп — например, одна система распознавания лиц, на которую ссылаются авторы, имела частоту ошибок 0,7% на лицах со светлой кожей, но 12,9% на лицах с тёмной кожей. Исследователи каталогизировали истоки этих расхождений, проследив их как до наборов данных, используемых для обучения, которые часто отражают существующие общественные предубеждения или собирались преимущественно в определённых географических регионах, так и до проектных решений в самих моделях, которые могут усиливать эту предвзятость сверх того, что уже было заложено в данных. Обзор систематизирует основные технические подходы, разработанные исследователями для противодействия, включая методы adversarial-обучения, пытающиеся удалить чувствительные атрибуты, такие как пол или раса, из выученных представлений, методы перебалансировки данных, которые генерируют или перевзвешивают примеры для выравнивания условий, и математические рамки, характеризующие фундаментальный компромисс между точностью модели и её справедливостью. Авторы также отмечают, что более новые генеративные и мультимодальные фундаментальные модели, такие как CLIP и системы генерации изображений из текста, переносят эти же проблемы дальше, попутно создавая новые, и что строгого математического определения справедливости для генеративных моделей пока не существует — указывая на существенный пробел, который области ещё предстоит закрыть.
аннотация
Системы компьютерного зрения за последние два десятилетия совершили стремительный прогресс благодаря множеству достижений в этой области. По мере того как такие системы всё чаще применяются в ответственных реальных приложениях, остро встаёт необходимость гарантировать, что они не воспроизводят и не усиливают какие-либо дискриминационные тенденции в исторических или вручную отобранных человеком данных и непреднамеренно не усваивают предвзятость из ложных корреляций. В этой статье представлен всеобъемлющий обзор по справедливости (fairness), который обобщает и проливает свет на текущие тенденции и успехи в контексте компьютерного зрения. Среди обсуждаемых тем: 1) Происхождение и технические определения справедливости, почерпнутые из более широкой литературы по справедливому машинному обучению и смежных дисциплин. 2) Работы, направленные на обнаружение и анализ предвзятости в системах компьютерного зрения. 3) Обзор методов, предложенных в последние годы для смягчения предвзятости в системах компьютерного зрения. 4) Всеобъемлющий обзор ресурсов и наборов данных, созданных исследователями для измерения, анализа и смягчения предвзятости и повышения справедливости. 5) Обсуждение успехов области, продолжающихся тенденций в контексте мультимодальных фундаментальных и генеративных моделей, а также пробелов, которые ещё предстоит устранить. Представленная характеристика должна помочь исследователям понять важность выявления и смягчения предвзятости в компьютерном зрении, оценить состояние области и определить возможные направления будущих исследований.
подробности
цитирование
@article{dehdashtian2024fairness,
title = {Fairness and Bias Mitigation in Computer Vision: A Survey},
author = {Dehdashtian, Sepehr and He, Ruozhen and Li, Yi and Balakrishnan, Guha and Vasconcelos, Nuno and Ordonez, Vicente and Boddeti, Vishnu Naresh},
year = {2024},
journal = {arXiv preprint arXiv:2408.02464},
url = {https://arxiv.org/abs/2408.02464},
}