Balanced Datasets Are Not Enough: Estimating and Mitigating Gender Bias in Deep Image Representations
Краткое изложение пресс-релиза
Исследователи из University of Virginia, UCLA и Allen Institute for Artificial Intelligence обнаружили, что простой балансировки обучающих наборов данных недостаточно, чтобы предотвратить усиление гендерных стереотипов AI-системами распознавания изображений. Команда изучила модели, обученные на двух широко используемых наборах данных — COCO, который размечает повседневные объекты, и imSitu, который размечает действия человека — и обнаружила, что даже когда они искусственно перебалансировали данные так, чтобы мужчины и женщины появлялись одинаково часто рядом с каждой меткой категории, обученные модели всё равно учились ассоциировать пол с этими категориями примерно с теми же завышенными частотами, что и модели, обученные на исходных перекошенных данных. Чтобы измерить эту проблему точнее, исследователи разработали две новые метрики, которые они называют «утечка набора данных» и «утечка модели» и которые количественно оценивают, насколько точно сторонний наблюдатель мог бы угадать пол человека на изображении, просто глядя на то, какие метки модель ему присваивает; разрыв между этими двумя мерами отражает, сколько дополнительной гендерной информации модель проносит в свои предсказания сверх того, что содержится в самих данных. Их объяснение того, почему балансировка не срабатывает, простое: наборы данных содержат бесчисленные неразмеченные визуальные подсказки — такие как присутствие детей, стили одежды или поза тела — которые коррелируют с полом и не могут быть нейтрализованы одной лишь корректировкой числа меток. Чтобы действительно снизить предвзятость, команда обучила модели с состязательным компонентом, который активно штрафует сеть за кодирование признаков, позволяющих предсказать пол, в её промежуточных слоях, добившись снижения усиления предвзятости на 53–67 процентов при потере лишь около одного-двух процентных пунктов точности классификации. Работа служит предостережением всем, кто полагает, что демографическую справедливость в AI можно достичь одной лишь подготовкой набора данных, и указывает на более глубокие архитектурные вмешательства как на более надёжный путь вперёд.
аннотация
В этой работе мы представляем фреймворк для измерения и смягчения внутренних предвзятостей в отношении защищённых переменных — таких как пол — в задачах визуального распознавания. Мы показываем, что обученные модели существенно усиливают ассоциацию целевых меток с полом сверх того, чего можно было бы ожидать от предвзятых наборов данных. Удивительно, что даже когда наборы данных сбалансированы так, что каждая метка встречается одинаково часто с каждым полом, обученные модели усиливают ассоциацию между метками и полом так же сильно, как если бы данные не были сбалансированы! Чтобы смягчить это, мы применяем состязательный подход для удаления нежелательных признаков, соответствующих защищённым переменным, из промежуточных представлений в глубокой нейронной сети — и предоставляем детальный анализ его эффективности. Эксперименты на двух наборах данных: COCO (объекты) и imSitu (действия) показывают снижение усиления гендерной предвзятости при сохранении большей части точности исходных моделей.
подробности
цитирование
@inproceedings{wang2019balanced,
title = {Balanced Datasets Are Not Enough: Estimating and Mitigating Gender Bias in Deep Image Representations},
author = {Wang, Tianlu and Zhao, Jieyu and Yatskar, Mark and Chang, Kai-Wei and Ordonez, Vicente},
year = {2019},
booktitle = {International Conference on Computer Vision. ICCV 2019},
url = {https://arxiv.org/abs/1811.08489},
}