Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation

プレスリリース要約

バージニア大学とSalesforce Researchの研究者らは、単語埋め込みから性別バイアスを除去する一般的な手法を損なう、これまで見過ごされてきた要因、すなわち訓練データにおける単語の統計的頻度を特定した。数えきれないほどのAIや自然言語処理の応用で用いられる言語の数値表現である単語埋め込みは、「プログラマー」を男性と、「主婦」を女性と結びつけるといった、社会的な性別ステレオタイプを符号化することが知られている。この問題に対する主流の解決策であるHard Debiasと呼ばれるアルゴリズムは、埋め込み空間から「性別の方向」を特定して射影によって除去することで機能するが、研究者らは、埋め込みに焼き付けられた単語頻度の情報が、その性別の方向をきれいに除去できる前に歪めてしまうことを発見した。これに対処するため、彼らはDouble-Hard Debiasと呼ばれる2段階の手法を構築した。これはまず埋め込みの頻度に関連する成分を取り除き、その後に標準的なHard Debiasの手順を適用するものである。共参照解析タスク、単語連想テスト、クラスタリングに基づく幾何学的チェックを含む3つの標準的なバイアスベンチマークでGloVeとWord2Vecの埋め込みをテストしたところ、彼らのアプローチは従来の手法よりも測定可能な性別バイアスを大幅に低減し、共参照システムが性別ステレオタイプ的な文と反ステレオタイプ的な文でどれだけうまく機能するかの差は、未修正のGloVeでの15.2パーセントポイントから彼らの手法ではわずか0.9にまで縮小し、その一方で単語アナロジーやカテゴリ化タスクにおける一般的な言語品質はおおむね損なわれずに保たれた。この研究は、単語埋め込みの浄化には、コーパスの統計が残す構造的なアーティファクトにより注意を払う必要があることを示唆している。