Gender Bias in Contextualized Word Embeddings

プレスリリース要約

UCLA、バージニア大学、アレン人工知能研究所、ケンブリッジ大学の研究者らは、自然言語処理において文脈を考慮した単語表現を生成する広く使われているシステムであるELMoが、下流の実用的なアプリケーションへと波及する意味のあるジェンダーバイアスをエンコードしていることを発見した。研究チームはこの問題の一因を偏った訓練データにたどった。ELMoの訓練に使われたOne Billion Word Benchmarkコーパスでは、男性代名詞が女性代名詞のおよそ3倍の頻度で出現し、また男性代名詞は、その職業が伝統的に男性的か女性的かにかかわらず、職業に関する用語とより頻繁に共起していた。主成分分析を用いて、研究者らはELMoの内部の幾何構造が実際には2つの異なる次元（一方は周囲の文脈に結びつき、もう一方は単語そのものに結びつく）に沿ってジェンダーを捉えていること、そして分類器が職業を表す単語から男性エンティティのジェンダーを女性エンティティの場合より約14パーセントポイント高い精度で予測できることを示し、モデルが両方のジェンダーを不均等に扱っている兆候を明らかにした。ELMo上に構築された最先端の共参照解析システムを、職業に関するジェンダーのステレオタイプを検証するために設計された診断用データセットWinoBiasで評価したところ、ジェンダーステレオタイプに沿った例と反する例の間で精度に30パーセントポイント近くの差が見られ、これは旧来の文脈非依存のGloVe埋め込みを用いた同等のシステムよりも大幅に悪い結果であった。研究チームは2つの対策を検証した。ジェンダーを表す単語を入れ替えてバランスのとれた例を作る訓練データ拡張はバイアスをおおむね除去したが、ジェンダーを入れ替えた文の埋め込みを平均化するというより単純なテスト時の手法は部分的にしか効果がなかった。ELMoやBERTのような文脈化埋め込みがますます実運用のNLPシステムの基盤となっていることから、こうした基礎的な構成要素における未検証のバイアスが現実世界のツールへひそかに伝播しうるという点で、この知見は重要である。