Gender Bias in Contextualized Word Embeddings

Zusammenfassung der Pressemitteilung

Forscher der UCLA, der University of Virginia, des Allen Institute for Artificial Intelligence und der University of Cambridge haben herausgefunden, dass ELMo, ein weit verbreitetes System zur Generierung kontextbewusster Wortrepräsentationen in der Verarbeitung natürlicher Sprache, eine bedeutsame geschlechtsbezogene Verzerrung codiert, die sich nachgelagert auf praktische Anwendungen überträgt. Das Team führte das Problem teilweise auf verzerrte Trainingsdaten zurück: Im One Billion Word Benchmark-Korpus, das zum Training von ELMo verwendet wird, treten männliche Pronomen etwa dreimal so häufig auf wie weibliche Pronomen, und männliche Pronomen kommen häufiger gemeinsam mit Berufsbezeichnungen vor, unabhängig davon, ob diese Berufe traditionell männlich oder weiblich besetzt sind. Mithilfe der Hauptkomponentenanalyse zeigten die Forscher, dass ELMos interne Geometrie das Geschlecht tatsächlich entlang zweier unterschiedlicher Dimensionen erfasst – einer, die an den umgebenden Kontext gebunden ist, und einer, die an das Wort selbst gebunden ist – und dass ein Klassifikator das Geschlecht einer männlichen Entität aus einem Berufswort etwa 14 Prozentpunkte genauer vorhersagen kann als das einer weiblichen Entität, ein Zeichen dafür, dass das Modell die beiden Geschlechter ungleich behandelt. Als ein modernes Koreferenzauflösungssystem, das auf ELMo aufbaut, an WinoBias getestet wurde, einem diagnostischen Datensatz, der zur Untersuchung berufsbezogener Geschlechterstereotype konzipiert wurde, zeigte es eine Lücke von fast 30 Prozentpunkten zwischen seiner Genauigkeit bei geschlechtsstereotypen und geschlechtskontrastereotypen Beispielen – wesentlich schlechter als ein vergleichbares System, das die älteren, nicht kontextualisierten GloVe-Embeddings verwendet. Das Team testete zwei Abhilfen: Die Anreicherung der Trainingsdaten durch das Vertauschen geschlechtsbezogener Wörter zur Schaffung ausgewogener Beispiele beseitigte die Verzerrung weitgehend, während ein einfacherer Ansatz zur Testzeit, der Embeddings aus geschlechtsvertauschten Sätzen mittelte, nur teilweise funktionierte. Die Ergebnisse sind von Bedeutung, weil kontextualisierte Embeddings wie ELMo und BERT zunehmend das Rückgrat produktiver NLP-Systeme bilden, was bedeutet, dass ungeprüfte Verzerrungen in diesen grundlegenden Komponenten sich unbemerkt in reale Werkzeuge fortpflanzen können.