Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation.
Resumen de prensa
Investigadores de UC Santa Barbara y la Universidad Rice han descubierto que GPT-2, uno de los modelos de generación de texto más utilizados, asocia sistemáticamente a las mujeres con cargos de menor rango y a los hombres con los de mayor rango — y que esta tendencia empeora cuando se añaden señales de antigüedad a una indicación (prompt). Para estudiar el problema, el equipo construyó un conjunto de datos de fragmentos de texto del mundo real extraídos de resultados de búsqueda de Google que abarcan dos dominios profesionales: senadores de EE. UU. y profesores de ciencias de la computación. Luego crearon versiones "contrafactuales" emparejadas de cada fragmento intercambiando ya sea la etiqueta de género o la de antigüedad, lo que les permitió medir cómo cambiaba la confianza del modelo dependiendo de qué combinación veía. En una prueba de perplejidad — esencialmente preguntando cuán sorprendido está GPT-2 ante una oración dada — el modelo consistentemente encontró menos plausible que una mujer ocupara un cargo superior que un hombre, mientras que ocurría lo contrario con los cargos subordinados. En un segundo experimento, el equipo alimentó al modelo con indicaciones de género neutro que variaban únicamente en la redacción de la antigüedad e hizo que evaluadores humanos clasificaran el género del lenguaje que GPT-2 generaba en respuesta; el modelo produjo texto con marca de género masculino con mucha más frecuencia de lo que justificarían los datos demográficos del mundo real de los senadores o profesores, y la brecha se ampliaba cuando aparecía la palabra "senior" en la indicación. Los hallazgos son importantes porque GPT-2 y modelos similares sustentan herramientas como filtros de currículums y chatbots de recursos humanos, lo que significa que estos sesgos combinados de género y antigüedad podrían traducirse directamente en oportunidades profesionales desiguales para las mujeres.
resumen
A menudo se percibe a las mujeres como subordinadas a sus contrapartes masculinas, incluso dentro de los mismos cargos. Si bien ha habido un progreso significativo en la evaluación del sesgo de género en el procesamiento del lenguaje natural (NLP), los estudios existentes rara vez investigan cómo cambian los sesgos hacia los grupos de género cuando se combinan con otros sesgos sociales. En este trabajo, investigamos cómo la antigüedad (seniority) impacta el grado de sesgo de género que exhiben los modelos de generación neuronal preentrenados, introduciendo un marco novedoso para sondear el sesgo compuesto. Aportamos un conjunto de datos de referencia para pruebas de robustez que abarca dos dominios, las senadurías y las cátedras de profesorado en EE. UU., creado mediante un método de supervisión distante. Nuestro conjunto de datos incluye texto escrito por humanos con verdad fundamental subyacente y contrafactuales emparejados. Luego examinamos la perplejidad de GPT-2 y la frecuencia del lenguaje con marca de género en el texto generado. Nuestros resultados muestran que GPT-2 amplifica el sesgo al considerar a las mujeres como subordinadas y a los hombres como superiores con más frecuencia que la verdad fundamental en ambos dominios. Estos resultados sugieren que las aplicaciones de NLP construidas utilizando GPT-2 pueden perjudicar a las mujeres en sus capacidades profesionales.
detalles
cita
@inproceedings{honnavalli2022towards,
title = {Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation.},
author = {Honnavalli, Samhita and Parekh, Aesha and Ou, Lily and Groenwold, Sophie and Levy, Sharon and Ordonez, Vicente and Wang, William Yang},
year = {2022},
booktitle = {Language Resources and Evaluation Conference LREC 2022},
url = {https://arxiv.org/abs/2205.09830},
}