Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation.
Краткое изложение пресс-релиза
Исследователи из UC Santa Barbara и Rice University обнаружили, что GPT-2, одна из наиболее широко используемых моделей генерации текста, систематически связывает женщин с должностями более низкого ранга, а мужчин — с более высоким, и что эта тенденция усиливается, когда в промпт добавляются подсказки о старшинстве. Чтобы изучить проблему, команда построила набор данных из реальных текстовых фрагментов, взятых из результатов поиска Google, охватывающих два профессиональных домена: сенаторов США и профессоров информатики. Затем они создали парные «контрфактические» версии каждого фрагмента, меняя либо гендерную, либо ранговую метку, что позволило им измерить, как менялась уверенность модели в зависимости от того, какую комбинацию она видела. В тесте на перплексию — по сути, в вопросе о том, насколько GPT-2 удивлён данным предложением — модель последовательно считала менее правдоподобным, что женщина занимает старшую должность, чем что её занимает мужчина, тогда как для младших должностей наблюдалось обратное. Во втором эксперименте команда подавала модели гендерно-нейтральные промпты, различающиеся только формулировкой о старшинстве, и просила людей-оценщиков классифицировать гендер языка, который GPT-2 генерировал в ответ; модель производила текст с мужской гендерной окраской гораздо чаще, чем это оправдывала бы реальная демография сенаторов или профессоров, и разрыв расширялся, когда в промпте появлялось слово «старший». Выводы важны, поскольку GPT-2 и подобные модели лежат в основе инструментов вроде систем отбора резюме и HR-чатботов, а значит, эти составные гендерно-ранговые предвзятости могут напрямую транслироваться в неравные профессиональные возможности для женщин.
аннотация
Женщин часто воспринимают как младших по сравнению с их коллегами-мужчинами, даже в рамках одинаковых должностей. Хотя в оценке гендерной предвзятости в обработке естественного языка (NLP) достигнут значительный прогресс, существующие исследования редко изучают, как предвзятость в отношении гендерных групп меняется при сочетании с другими общественными предвзятостями. В этой работе мы исследуем, как старшинство влияет на степень гендерной предвзятости, проявляемой предобученными нейронными генеративными моделями, вводя новый фреймворк для зондирования составной предвзятости. Мы вносим бенчмарк-набор данных для тестирования робастности, охватывающий два домена — сенаторство и профессорство в США — созданный методом дистанционного надзора. Наш набор данных включает написанный людьми текст с базовой эталонной разметкой и парными контрфактами. Затем мы исследуем перплексию GPT-2 и частоту гендерно-окрашенного языка в сгенерированном тексте. Наши результаты показывают, что GPT-2 усиливает предвзятость, чаще считая женщин младшими, а мужчин старшими, чем это есть в эталонных данных, в обоих доменах. Эти результаты говорят о том, что NLP-приложения, построенные с использованием GPT-2, могут наносить вред женщинам в профессиональной деятельности.
подробности
цитирование
@inproceedings{honnavalli2022towards,
title = {Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation.},
author = {Honnavalli, Samhita and Parekh, Aesha and Ou, Lily and Groenwold, Sophie and Levy, Sharon and Ordonez, Vicente and Wang, William Yang},
year = {2022},
booktitle = {Language Resources and Evaluation Conference LREC 2022},
url = {https://arxiv.org/abs/2205.09830},
}