Gender Bias in Contextualized Word Embeddings

Краткое изложение пресс-релиза

Исследователи из UCLA, University of Virginia, Allen Institute for Artificial Intelligence и University of Cambridge обнаружили, что ELMo — широко используемая система генерации контекстно-зависимых представлений слов в обработке естественного языка — кодирует значимую гендерную предвзятость, которая распространяется вниз по конвейеру в практические приложения. Команда отчасти проследила проблему до перекошенных обучающих данных: в корпусе One Billion Word Benchmark, использованном для обучения ELMo, мужские местоимения встречаются примерно втрое чаще женских, и мужские местоимения чаще соседствуют с профессиональными терминами вне зависимости от того, считаются ли эти профессии традиционно мужскими или женскими. С помощью метода главных компонент исследователи показали, что внутренняя геометрия ELMo на самом деле улавливает гендер по двум различным измерениям — одно связано с окружающим контекстом, другое — с самим словом, — и что классификатор может предсказать гендер мужской сущности по слову-профессии примерно на 14 процентных пунктов точнее, чем гендер женской сущности, что является признаком того, что модель обращается с двумя гендерами неравномерно. Когда современную систему разрешения кореференции, построенную на ELMo, протестировали на WinoBias — диагностическом наборе данных, призванном проверять профессиональные гендерные стереотипы, — она показала разрыв почти в 30 процентных пунктов между точностью на гендерно-стереотипных и гендерно-контрстереотипных примерах — существенно хуже, чем у сопоставимой системы, использующей более старые, неконтекстуализированные эмбеддинги GloVe. Команда испытала два средства: дополнение обучающих данных путём замены гендерных слов для создания сбалансированных примеров в значительной мере устранило предвзятость, тогда как более простой подход на этапе тестирования — усреднение эмбеддингов из предложений с заменённым гендером — сработал лишь частично. Эти выводы важны, поскольку контекстуализированные эмбеддинги, такие как ELMo и BERT, всё чаще становятся основой промышленных NLP-систем, а значит, неисследованная предвзятость в этих фундаментальных компонентах может незаметно распространяться в реальные инструменты.