Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation.
Zusammenfassung der Pressemitteilung
Forschende der UC Santa Barbara und der Rice University haben festgestellt, dass GPT-2, eines der am weitesten verbreiteten Modelle zur Texterzeugung, Frauen systematisch mit rangniedrigeren Berufsbezeichnungen und Männer mit ranghöheren paart – und dass sich diese Tendenz verstärkt, wenn einem Prompt Hinweise auf Seniorität hinzugefügt werden. Um das Problem zu untersuchen, baute das Team einen Datensatz realer Textausschnitte auf, die aus Google-Suchergebnissen zu zwei beruflichen Domänen stammten: US-Senatoren und Informatikprofessoren. Anschließend erstellten sie gepaarte "kontrafaktische" Versionen jedes Ausschnitts, indem sie entweder das Geschlecht oder die Senioritätsbezeichnung austauschten, was es ihnen ermöglichte, zu messen, wie sich die Zuversicht des Modells je nach der gesehenen Kombination veränderte. In einem Perplexitätstest – bei dem im Wesentlichen gefragt wird, wie überrascht GPT-2 von einem gegebenen Satz ist – fand das Modell es durchweg weniger plausibel, dass eine Frau einen ranghohen Titel innehatte, als dass ein Mann dies tat, während für rangniedrige Titel das Umgekehrte galt. In einem zweiten Experiment speiste das Team geschlechtsneutrale Prompts in das Modell ein, die sich nur in der Senioritätsformulierung unterschieden, und ließ menschliche Bewertende das Geschlecht der Sprache klassifizieren, die GPT-2 als Antwort erzeugte; das Modell produzierte weitaus häufiger männlich geprägten Text, als es die realen demografischen Verhältnisse von Senatoren oder Professoren rechtfertigen würden, und die Kluft vergrößerte sich, wenn das Wort "senior" im Prompt auftauchte. Die Erkenntnisse sind bedeutsam, weil GPT-2 und ähnliche Modelle Werkzeuge wie Lebenslauf-Screener und HR-Chatbots zugrunde liegen, was bedeutet, dass sich diese zusammengesetzten Geschlechts- und Senioritätsverzerrungen unmittelbar in ungleiche berufliche Chancen für Frauen übersetzen könnten.
Zusammenfassung
Frauen werden oft als ihren männlichen Pendants untergeordnet wahrgenommen, selbst innerhalb derselben Berufsbezeichnungen. Obwohl es bei der Bewertung von Geschlechterverzerrungen in der natürlichen Sprachverarbeitung (NLP) erhebliche Fortschritte gegeben hat, untersuchen bestehende Studien nur selten, wie sich Verzerrungen gegenüber Geschlechtsgruppen verändern, wenn sie mit anderen gesellschaftlichen Verzerrungen kombiniert werden. In dieser Arbeit untersuchen wir, wie Seniorität den Grad der in vortrainierten neuronalen Generierungsmodellen gezeigten Geschlechterverzerrung beeinflusst, indem wir ein neuartiges Rahmenwerk zur Untersuchung zusammengesetzter Verzerrungen einführen. Wir steuern einen Benchmark-Datensatz zur Robustheitsprüfung bei, der zwei Domänen umfasst, die US-Senatorschaft und die Professur, und der mit einer Methode der entfernten Supervision (Distant Supervision) erstellt wurde. Unser Datensatz umfasst von Menschen verfasste Texte mit zugrunde liegender Ground Truth sowie gepaarte Kontrafakten. Anschließend untersuchen wir die GPT-2-Perplexität und die Häufigkeit geschlechtsspezifischer Sprache in generiertem Text. Unsere Ergebnisse zeigen, dass GPT-2 Verzerrungen verstärkt, indem es Frauen häufiger als untergeordnet und Männer häufiger als ranghöher betrachtet, als es der Ground Truth in beiden Domänen entspricht. Diese Ergebnisse legen nahe, dass mit GPT-2 erstellte NLP-Anwendungen Frauen in beruflichen Funktionen schaden könnten.
Details
Zitation
@inproceedings{honnavalli2022towards,
title = {Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation.},
author = {Honnavalli, Samhita and Parekh, Aesha and Ou, Lily and Groenwold, Sophie and Levy, Sharon and Ordonez, Vicente and Wang, William Yang},
year = {2022},
booktitle = {Language Resources and Evaluation Conference LREC 2022},
url = {https://arxiv.org/abs/2205.09830},
}