Gender Bias in Coreference Resolution: Evaluation and Debiasing Methods
プレスリリース要約
UCLA、バージニア大学、アレン人工知能研究所の研究者らは、文中の異なる単語がいつ同じ人や物を指しているかを識別するソフトウェアである、広く使われている共参照解析システムが、現実のアプリケーションで人々に害を及ぼしうる形でジェンダーのステレオタイプを体系的に反映していることを発見した。この問題を測定するため、研究チームはWinoBiasという新しいテストデータセットを構築した。これは、論理的には代名詞がどの人を指すかに影響すべきでない（が、しばしば影響する）形で職業とジェンダーを示す代名詞を対応づけた3,160文から成る。3つの確立された共参照システムをWinoBiasに通したところ、3つすべてが、代名詞がジェンダーのステレオタイプな期待に一致する場合（例えば「彼女」を「看護師」に結びつける）の方が、それに反する場合よりも顕著に良い成績を示し、F1スコア尺度で平均21.1ポイントの性能差があった。研究者らはバイアスの多くを、ジェンダーを示す代名詞で参照されるエンティティの80パーセント超が男性であったOntoNotes訓練コーパスと、ステレオタイプな連想をエンコードする単語埋め込みにたどった。これに対抗するため、彼らはすべての男性と女性の参照を入れ替えることで訓練データの鏡像版を生成するデータ拡張技術を開発し、それを既存の単語埋め込みのバイアス除去手法と組み合わせた。その組み合わせは、標準ベンチマークでの精度を実質的に損なうことなくWinoBiasでの性能差を効果的に解消した。共参照解析が幅広い下流の言語技術に組み込まれており、これらのシステムにおける未チェックのバイアスが多くのアプリケーションを通じてひそかに伝播しうることを意味するため、この結果は重要である。
要旨
我々は、ジェンダーバイアスに焦点を当てた共参照解析のための新しいベンチマークWinoBiasを導入する。我々のコーパスには、職業によって参照される人々に対応するエンティティ（例: 看護師、医師、大工）を含むWinograd-schema形式の文が含まれている。ルールベース、特徴量豊富な、ニューラルの共参照解析システムがいずれも、ジェンダーを示す代名詞をステレオタイプに反するエンティティよりもステレオタイプに沿ったエンティティに、平均してF1スコアで21.1の差で高い精度で結びつけることを実証する。最後に、既存の単語埋め込みのバイアス除去技術と組み合わせることで、既存の共参照ベンチマークデータセットにおける性能を大きく損なうことなく、これらのシステムがWinoBiasで示すバイアスを除去するデータ拡張アプローチを実証する。我々のデータセットとコードはhttp://winobias.orgで入手可能である。
詳細
引用
@inproceedings{zhao2018gender,
title = {Gender Bias in Coreference Resolution: Evaluation and Debiasing Methods},
author = {Zhao, Jieyu and Wang, Tianlu and Yatskar, Mark and Ordonez, Vicente and Chang, Kai-Wei},
year = {2018},
booktitle = {North American Chapter of the Association for Computational Linguistics. NAACL 2018},
url = {https://arxiv.org/abs/1804.06876},
}