Variation of Gender Biases in Visual Recognition Models Before and After Finetuning
Краткое изложение пресс-релиза
Исследователи из USC, Columbia, Meta AI и Rice University разработали фреймворк для отслеживания того, как гендерные предвзятости, заложенные в популярные предобученные модели компьютерного зрения, ведут себя при дообучении этих моделей под конкретные целевые задачи, — вопрос, которому уделялось удивительно мало систематического внимания, несмотря на то, насколько широко эти предобученные модели повторно используются в индустрии и науке. Команда собрала тщательно подобранные наборы эталонных изображений из наборов данных COCO и OpenImages, сопоставляя повседневные объекты вроде сёрфбордов и автомобилей с изображениями мужчин и женщин, а затем измеряла, насколько тесно внутренние признаковые представления модели группировали эти изображения объектов с тем или иным полом — как до, так и после дообучения. Протестировав шесть готовых моделей — включая варианты ResNet, CLIP, MoCo и SimCLR — на разных архитектурах, объёмах обучающих наборов данных и режимах обучения с учителем против self-supervised, исследователи обнаружили три примечательные закономерности: модели, обученные с учителем на крупномасштабных наборах данных вроде ImageNet-21k, склонны упорно переносить свои предобученные предвзятости в любую новую задачу, под которую их дообучали; дообучение на более крупном целевом наборе данных вроде OpenImages с большей вероятностью вводило свежие предвзятые ассоциации, чем дообучение на меньшем вроде COCO; а self-supervised модели, в частности MoCo, демонстрировали меньшее удержание предвзятости, чем их аналоги, обученные с учителем, хотя это и не было универсальным. Чтобы количественно оценить эту динамику, команда ввела метрику под названием Bias Transfer Score, основанную на ранговой корреляции Спирмена, которая измеряет, насколько связанные с предвзятостью ассоциации модели сдвигаются между этапами предобучения и дообучения. Работа практически значима, поскольку многие разработчики используют предобученные модели как чёрные ящики, не имея представления о том, какие общественные предвзятости они могут незаметно привносить в свои приложения.
аннотация
Мы представляем фреймворк для измерения того, как изменяются предвзятости до и после дообучения крупномасштабной модели визуального распознавания для целевой задачи. Известно, что модели Deep Learning, обучаемые на всё больших объёмах данных, кодируют общественные предвзятости. Многие современные системы компьютерного зрения опираются на модели, обычно предобученные на крупномасштабных наборах данных. Хотя методы снижения предвзятости были разработаны для настройки моделей под целевые задачи, в настоящее время неясно, каковы последствия предвзятостей, уже закодированных в предобученной модели. Наш фреймворк включает наборы канонических изображений, представляющих отдельные понятия и пары понятий, чтобы выявить изменения предвзятостей для ряда готовых предобученных моделей различных размеров, объёмов наборов данных и целевых функций обучения. В ходе наших анализов мы обнаруживаем, что (1) модели с учителем, обученные на наборах данных вроде ImageNet-21k, с большей вероятностью сохраняют свои предобученные предвзятости независимо от целевого набора данных по сравнению с self-supervised моделями. Мы также обнаруживаем, что (2) модели, дообученные на более крупных наборах данных, с большей вероятностью вводят новые предвзятые ассоциации. Наши результаты также позволяют предположить, что (3) предвзятости могут переноситься на дообученные модели, а целевая функция и набор данных дообучения могут влиять на степень переносимых предвзятостей.
подробности
цитирование
@inproceedings{ranjit2023variation,
title = {Variation of Gender Biases in Visual Recognition Models Before and After Finetuning},
author = {Ranjit, Jaspreet and Wang, Tianlu and Ray, Baishakhi and Ordonez, Vicente},
year = {2023},
booktitle = {Workshop on Algorithmic Fairness through the Lens of Time at NeuRIPS 2023},
url = {https://arxiv.org/abs/2303.07615},
}