보도 자료 요약
UCLA, 버지니아 대학교, Allen Institute for Artificial Intelligence, University of Cambridge의 연구자들은 자연어 처리에서 문맥 인식 단어 표현을 생성하는 데 널리 사용되는 시스템인 ELMo가 다운스트림의 실용적 응용으로 흘러 들어가는 유의미한 성별 편향을 부호화한다는 것을 발견했다. 연구팀은 이 문제를 부분적으로 편향된 학습 데이터에서 추적했다. ELMo를 학습하는 데 사용된 One Billion Word Benchmark 코퍼스에서 남성 대명사가 여성 대명사보다 대략 세 배 더 자주 나타나며, 남성 대명사는 그 직업이 전통적으로 남성적이든 여성적이든 관계없이 직업 용어와 더 빈번하게 공기(共起)한다. 주성분 분석을 사용하여, 연구자들은 ELMo의 내부 기하 구조가 실제로 성별을 두 개의 별개 차원 — 하나는 주변 문맥에, 다른 하나는 단어 자체에 묶인 — 을 따라 포착하며, 분류기가 직업 단어로부터 남성 개체의 성별을 여성 개체보다 약 14퍼센트 포인트 더 정확하게 예측할 수 있음을 보였는데, 이는 모델이 두 성별을 불균등하게 다룬다는 신호다. ELMo 위에 구축된 최첨단 상호참조 해소 시스템을 직업적 성별 고정관념을 탐침하도록 설계된 진단 데이터셋 WinoBias에서 시험했을 때, 그것은 성별 고정관념적 예제와 성별 반(反)고정관념적 예제에 대한 정확도 사이에서 거의 30퍼센트 포인트의 격차를 보였는데, 이는 더 오래된 비(非)문맥화 GloVe 임베딩을 사용하는 비교 가능한 시스템보다 상당히 나빴다. 연구팀은 두 가지 해결책을 시험했다. 성별이 부여된 단어를 교체하여 균형 잡힌 예제를 만드는 학습 데이터 증강은 편향을 대체로 제거했고, 성별이 교체된 문장에서의 임베딩을 평균하는 더 단순한 테스트 시점 접근법은 부분적으로만 작동했다. 이 발견이 중요한 이유는, ELMo와 BERT 같은 문맥화된 임베딩이 점점 더 프로덕션 NLP 시스템의 근간이 되고 있어, 이러한 기반 구성 요소의 검토되지 않은 편향이 실세계 도구로 조용히 전파될 수 있기 때문이다.
초록
이 논문에서 우리는 ELMo의 문맥화된 단어 벡터에 나타나는 성별 편향을 정량화, 분석, 완화한다. 먼저, 우리는 여러 내재적 분석을 수행하여 다음을 발견한다. (1) ELMo의 학습 데이터는 여성 개체보다 남성 개체를 상당히 더 많이 포함한다, (2) 학습된 ELMo 임베딩은 성별 정보를 체계적으로 부호화한다, (3) ELMo는 남성과 여성 개체에 관한 성별 정보를 불균등하게 부호화한다. 그런 다음, 우리는 ELMo에 의존하는 최첨단 상호참조 시스템이 그 편향을 물려받아 WinoBias 탐침 코퍼스에서 상당한 편향을 보임을 보인다. 마지막으로, 우리는 그러한 성별 편향을 완화하는 두 가지 방법을 탐구하고 WinoBias에서 나타난 편향이 제거될 수 있음을 보인다.
인용
@inproceedings{zhao2019gender,
title = {Gender Bias in Contextualized Word Embeddings},
author = {Zhao, Jieyu and Wang, Tianlu and Yatskar, Mark and Cotterell, Ryan and Ordonez, Vicente and Chang, Kai-Wei},
year = {2019},
booktitle = {North American Chapter of the Association for Computational Linguistics. NAACL 2019},
url = {https://arxiv.org/abs/1904.03310},
}