Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation.
Sintesi del comunicato stampa
Ricercatori di UC Santa Barbara e Rice University hanno scoperto che GPT-2, uno dei modelli di generazione di testo più usati, abbina sistematicamente le donne a qualifiche professionali di rango inferiore e gli uomini a quelle di rango superiore — e che questa tendenza peggiora quando in un prompt vengono aggiunti riferimenti all'anzianità. Per studiare il problema, il team ha costruito un dataset di frammenti di testo del mondo reale tratti dai risultati di ricerca di Google e relativi a due ambiti professionali: i senatori statunitensi e i professori di informatica. Hanno poi creato versioni "controfattuali" abbinate di ciascun frammento scambiando l'etichetta di genere o quella di anzianità, permettendo di misurare come cambiasse la confidenza del modello a seconda della combinazione osservata. In un test di perplessità — che chiede in sostanza quanto GPT-2 sia sorpreso da una data frase — il modello ha ritenuto costantemente meno plausibile che una donna ricoprisse una qualifica senior rispetto a un uomo, mentre per le qualifiche junior valeva il contrario. In un secondo esperimento, il team ha fornito al modello prompt neutri rispetto al genere che variavano solo nella formulazione relativa all'anzianità e ha fatto classificare da valutatori umani il genere del linguaggio prodotto da GPT-2 in risposta; il modello ha generato testo connotato al maschile molto più spesso di quanto giustificherebbero i dati demografici reali di senatori o professori, e il divario si ampliava quando nel prompt compariva la parola "senior". I risultati sono importanti perché GPT-2 e modelli simili sono alla base di strumenti come i sistemi di screening dei curriculum e i chatbot delle risorse umane, il che significa che questi pregiudizi combinati di genere e anzianità potrebbero tradursi direttamente in opportunità professionali diseguali per le donne.
abstract
Le donne sono spesso percepite come subordinate rispetto alle loro controparti maschili, anche a parità di qualifica professionale. Sebbene siano stati compiuti progressi significativi nella valutazione del pregiudizio di genere nell'elaborazione del linguaggio naturale (NLP), gli studi esistenti raramente indagano come i pregiudizi verso i gruppi di genere cambino quando si combinano con altri pregiudizi sociali. In questo lavoro indaghiamo come l'anzianità influisca sul grado di pregiudizio di genere manifestato dai modelli di generazione neurale pre-addestrati, introducendo un nuovo framework per sondare il pregiudizio composto. Forniamo un dataset di benchmark per il test di robustezza che spazia su due ambiti, i seggi senatoriali statunitensi e le cattedre universitarie, creato con un metodo di supervisione distante (distant supervision). Il nostro dataset include testo scritto da esseri umani con relativa ground truth sottostante e controfattuali abbinati. Esaminiamo poi la perplessità di GPT-2 e la frequenza del linguaggio connotato per genere nel testo generato. I nostri risultati mostrano che GPT-2 amplifica il pregiudizio considerando le donne come subordinate e gli uomini come anziani più spesso rispetto alla ground truth in entrambi gli ambiti. Questi risultati suggeriscono che le applicazioni NLP costruite utilizzando GPT-2 potrebbero danneggiare le donne in ambito professionale.
dettagli
citazione
@inproceedings{honnavalli2022towards,
title = {Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation.},
author = {Honnavalli, Samhita and Parekh, Aesha and Ou, Lily and Groenwold, Sophie and Levy, Sharon and Ordonez, Vicente and Wang, William Yang},
year = {2022},
booktitle = {Language Resources and Evaluation Conference LREC 2022},
url = {https://arxiv.org/abs/2205.09830},
}