プレスリリース要約
UC Santa BarbaraとRice Universityの研究者らは、最も広く使われているテキスト生成モデルの一つであるGPT-2が、女性を下位の職位と、男性を上位の職位と体系的に結びつけており、しかもプロンプトに上下関係の手がかりが加えられるとこの傾向が悪化することを発見しました。この問題を研究するため、研究チームは、米国の上院議員とコンピュータサイエンスの教授という2つの専門ドメインを対象に、Google検索結果から取り出した現実世界のテキスト断片のデータセットを構築しました。次に、性別または上下関係のラベルのいずれかを入れ替えることで、各断片のペアになった「反事実」版を作成し、モデルがどの組み合わせを見たかに応じてその確信度がどのように変化するかを測定できるようにしました。パープレキシティテスト、すなわち本質的には与えられた文に対してGPT-2がどれだけ驚くかを問うテストでは、モデルは一貫して、女性が上位の職位に就いているほうが男性の場合よりももっともらしくないと判断し、下位の職位については逆の傾向が成り立ちました。2つ目の実験では、研究チームは上下関係の表現のみが異なるジェンダー中立的なプロンプトをモデルに与え、それに応じてGPT-2が生成した言語の性別を人間の評価者に分類させました。モデルは、上院議員や教授の現実世界の人口構成が正当化するよりもはるかに頻繁に男性ジェンダーのテキストを生成し、プロンプトに「senior（上位の）」という語が現れるとその差は広がりました。この発見は、GPT-2や類似のモデルが履歴書スクリーニングツールや人事チャットボットといったツールの基盤となっていることから重要です。つまり、これらの複合的なジェンダーと上下関係のバイアスが、女性にとって専門的な機会の不平等へと直接的に転化しうることを意味するからです。
要旨
女性は、同じ職位の中でさえ、男性の同職者よりも下位だと見なされることが少なくありません。自然言語処理（NLP）におけるジェンダーバイアスの評価には大きな進展がありましたが、既存の研究では、ジェンダー集団に対するバイアスが他の社会的バイアスと複合したときにどのように変化するかを調査したものはほとんどありません。本研究では、複合バイアスを調べるための新たなフレームワークを導入することで、事前学習済みのニューラル生成モデルが示すジェンダーバイアスの程度に、上下関係（シニオリティ）がどのように影響するかを調査します。我々は、遠距離教師あり（distant-supervision）法を用いて作成された、米国上院議員職と教授職という2つのドメインにわたるベンチマークのロバストネス検証データセットを提供します。このデータセットには、根底にあるグラウンドトゥルースを伴う人間が書いたテキストと、ペアになった反事実例が含まれます。次に、GPT-2のパープレキシティと、生成されたテキストにおけるジェンダー化された言語の頻度を検討します。我々の結果は、GPT-2が、両ドメインにおいてグラウンドトゥルースよりも頻繁に女性を下位、男性を上位と見なすことで、バイアスを増幅することを示しています。これらの結果は、GPT-2を用いて構築されたNLPアプリケーションが、専門的な立場にある女性に害を及ぼしうることを示唆しています。
詳細
引用
@inproceedings{honnavalli2022towards,
title = {Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation.},
author = {Honnavalli, Samhita and Parekh, Aesha and Ou, Lily and Groenwold, Sophie and Levy, Sharon and Ordonez, Vicente and Wang, William Yang},
year = {2022},
booktitle = {Language Resources and Evaluation Conference LREC 2022},
url = {https://arxiv.org/abs/2205.09830},
}