Gender Bias in Contextualized Word Embeddings

Resumen de prensa

Investigadores de UCLA, la Universidad de Virginia, el Allen Institute for Artificial Intelligence y la Universidad de Cambridge han descubierto que ELMo, un sistema ampliamente utilizado para generar representaciones de palabras conscientes del contexto en el procesamiento del lenguaje natural, codifica un sesgo de género significativo que fluye hacia aplicaciones prácticas posteriores. El equipo rastreó el problema en parte hasta datos de entrenamiento sesgados: en el corpus One Billion Word Benchmark usado para entrenar ELMo, los pronombres masculinos aparecen aproximadamente tres veces más a menudo que los pronombres femeninos, y los pronombres masculinos co-ocurren con mayor frecuencia con términos ocupacionales, independientemente de si esos trabajos son tradicionalmente masculinos o femeninos. Usando análisis de componentes principales, los investigadores mostraron que la geometría interna de ELMo en realidad captura el género a lo largo de dos dimensiones distintas — una ligada al contexto circundante, otra ligada a la palabra en sí — y que un clasificador puede predecir el género de una entidad masculina a partir de una palabra de ocupación con aproximadamente 14 puntos porcentuales más de precisión que el de una entidad femenina, una señal de que el modelo trata a ambos géneros de forma desigual. Cuando un sistema de resolución de coreferencia del estado del arte construido sobre ELMo se evaluó en WinoBias, un conjunto de datos de diagnóstico diseñado para sondear los estereotipos de género ocupacionales, mostró una brecha de casi 30 puntos porcentuales entre su precisión en ejemplos de género estereotípico frente a los de género contraestereotípico — sustancialmente peor que un sistema comparable que usa los embeddings GloVe, más antiguos y no contextualizados. El equipo probó dos remedios: aumentar los datos de entrenamiento intercambiando palabras con género para crear ejemplos equilibrados eliminó en gran medida el sesgo, mientras que un enfoque más simple en tiempo de prueba consistente en promediar embeddings de oraciones con el género intercambiado solo funcionó parcialmente. Los hallazgos son relevantes porque los embeddings contextualizados como ELMo y BERT son cada vez más la base de los sistemas de PLN de producción, lo que significa que los sesgos no examinados en estos componentes fundamentales pueden propagarse silenciosamente a herramientas del mundo real.