Gender Bias in Contextualized Word Embeddings

Sintesi del comunicato stampa

I ricercatori di UCLA, della University of Virginia, dell'Allen Institute for Artificial Intelligence e della University of Cambridge hanno scoperto che ELMo, un sistema ampiamente utilizzato per generare rappresentazioni di parole sensibili al contesto nell'elaborazione del linguaggio naturale, codifica un significativo bias di genere che si propaga a valle nelle applicazioni pratiche. Il gruppo ha ricondotto il problema in parte a dati di addestramento distorti: nel corpus One Billion Word Benchmark usato per addestrare ELMo, i pronomi maschili compaiono circa tre volte più spesso di quelli femminili, e i pronomi maschili co-occorrono più frequentemente con termini occupazionali, indipendentemente dal fatto che tali professioni siano tradizionalmente maschili o femminili. Utilizzando l'analisi delle componenti principali, i ricercatori hanno mostrato che la geometria interna di ELMo cattura in realtà il genere lungo due dimensioni distinte — una legata al contesto circostante, l'altra legata alla parola stessa — e che un classificatore è in grado di predire il genere di un'entità maschile a partire da una parola occupazionale con circa 14 punti percentuali di accuratezza in più rispetto a un'entità femminile, segno che il modello tratta i due generi in modo diseguale. Quando un sistema di risoluzione delle coreferenze allo stato dell'arte basato su ELMo è stato testato su WinoBias, un dataset diagnostico progettato per sondare gli stereotipi di genere legati alle professioni, ha mostrato un divario di quasi 30 punti percentuali tra l'accuratezza sugli esempi conformi agli stereotipi di genere e quella sugli esempi contrari agli stereotipi — risultato sostanzialmente peggiore rispetto a un sistema analogo che utilizzava i precedenti embedding non contestualizzati GloVe. Il gruppo ha testato due rimedi: l'aumento dei dati di addestramento mediante lo scambio delle parole connotate per genere, così da creare esempi bilanciati, ha eliminato in larga parte il bias, mentre un approccio più semplice applicato in fase di test, consistente nel mediare gli embedding di frasi con il genere invertito, ha funzionato solo in parte. I risultati sono importanti perché gli embedding contestualizzati come ELMo e BERT costituiscono sempre più spesso l'ossatura dei sistemi di NLP in produzione, il che significa che bias non esaminati in questi componenti fondamentali possono propagarsi silenziosamente negli strumenti del mondo reale.