Gender Bias in Coreference Resolution: Evaluation and Debiasing Methods
보도 자료 요약
UCLA, 버지니아 대학교, 그리고 Allen Institute for Artificial Intelligence의 연구자들은 널리 사용되는 상호 참조 해소 시스템(문장 속 서로 다른 단어가 같은 사람이나 사물을 가리킬 때를 식별하는 소프트웨어)이 실제 응용에서 사람들에게 해를 끼칠 수 있는 방식으로 성별 고정관념을 체계적으로 반영함을 발견했다. 문제를 측정하기 위해, 연구팀은 직업을 성별이 표시된 대명사와, 논리적으로는 대명사가 누구를 가리키는지에 영향을 주지 않아야 하지만 종종 영향을 주는 방식으로 짝지은 3,160개 문장으로 구성된 WinoBias라는 새로운 테스트 데이터셋을 구축했다. 세 개의 확립된 상호 참조 시스템을 WinoBias로 실행했을 때, 세 시스템 모두 대명사가 성별 고정관념적 기대와 일치할 때(예를 들어 "she"를 "nurse"에 연결하는 것) 그에 반할 때보다 눈에 띄게 더 나은 성능을 보였으며, F1 점수 척도에서 평균 21.1점의 성능 격차를 보였다. 연구자들은 편향의 상당 부분을 OntoNotes 학습 말뭉치(성별 표시 대명사로 지칭되는 개체의 80% 이상이 남성이었음)와 고정관념적 연관을 인코딩하는 단어 임베딩으로 추적했다. 이에 대응하기 위해, 그들은 모든 남성 및 여성 참조를 교체하여 학습 데이터의 거울상 버전을 생성하는 데이터 증강 기법을 개발하고, 이를 단어 임베딩 디바이어싱을 위한 기존 방법과 결합했다. 그 결합은 표준 벤치마크에서의 정확도를 의미 있게 해치지 않으면서 WinoBias에서의 성능 격차를 효과적으로 좁혔다 — 이는 상호 참조 해소가 광범위한 다운스트림 언어 기술에 입력되기 때문에 중요한 결과로, 이러한 시스템 내 점검되지 않은 편향이 많은 응용을 통해 조용히 전파될 수 있음을 의미한다.
초록
우리는 성별 편향에 초점을 맞춘 상호 참조 해소(coreference resolution)를 위한 새로운 벤치마크 WinoBias를 도입한다. 우리의 말뭉치는 직업(예: 간호사, 의사, 목수)으로 지칭되는 사람에 해당하는 개체를 가진 Winograd-schema 스타일 문장을 담고 있다. 우리는 규칙 기반, 특징이 풍부한(feature-rich), 그리고 신경망 상호 참조 시스템 모두가 성별이 표시된 대명사를 친고정관념적(pro-stereotypical) 개체에 반고정관념적(anti-stereotypical) 개체보다 더 높은 정확도로 연결하며, 그 평균 차이가 F1 점수로 21.1임을 입증한다. 마지막으로, 우리는 기존 단어 임베딩 디바이어싱(debiasing) 기법과 결합하여, 기존 상호 참조 벤치마크 데이터셋에서의 성능에 큰 영향을 주지 않으면서 이러한 시스템이 WinoBias에서 보인 편향을 제거하는 데이터 증강 접근법을 입증한다. 우리의 데이터셋과 코드는 http://winobias.org 에서 이용 가능하다.
세부 정보
인용
@inproceedings{zhao2018gender,
title = {Gender Bias in Coreference Resolution: Evaluation and Debiasing Methods},
author = {Zhao, Jieyu and Wang, Tianlu and Yatskar, Mark and Ordonez, Vicente and Chang, Kai-Wei},
year = {2018},
booktitle = {North American Chapter of the Association for Computational Linguistics. NAACL 2018},
url = {https://arxiv.org/abs/1804.06876},
}