Balanced Datasets Are Not Enough: Estimating and Mitigating Gender Bias in Deep Image Representations

Resumen de prensa

Investigadores de la Universidad de Virginia, UCLA y el Allen Institute for Artificial Intelligence han descubierto que simplemente balancear los conjuntos de datos de entrenamiento no es suficiente para evitar que los sistemas de reconocimiento de imágenes de IA amplifiquen los estereotipos de género. El equipo estudió modelos entrenados en dos conjuntos de datos ampliamente usados —COCO, que etiqueta objetos cotidianos, e imSitu, que etiqueta acciones humanas— y descubrió que incluso cuando rebalanceaban artificialmente los datos para que hombres y mujeres aparecieran con igual frecuencia junto a cada etiqueta de categoría, los modelos entrenados seguían aprendiendo a asociar el género con esas categorías a tasas infladas aproximadamente iguales a las de los modelos entrenados con los datos sesgados originales. Para medir este problema con mayor precisión, los investigadores desarrollaron dos nuevas métricas que denominan "fuga del conjunto de datos" (dataset leakage) y "fuga del modelo" (model leakage), que cuantifican con qué precisión un observador externo podría adivinar el género de una persona en una imagen simplemente observando qué etiquetas le asigna un modelo; la diferencia entre esas dos medidas captura cuánta información adicional de género está introduciendo el modelo en sus predicciones más allá de lo que los datos contienen en sí. Su explicación de por qué falla el balanceo es directa: los conjuntos de datos contienen innumerables señales visuales no etiquetadas —como la presencia de niños, estilos de ropa o la postura corporal— que se correlacionan con el género y no pueden neutralizarse ajustando únicamente los recuentos de etiquetas. Para reducir realmente el sesgo, el equipo entrenó modelos con un componente adversarial que penaliza activamente a la red por codificar características predictivas del género en sus capas intermedias, logrando una reducción del 53 al 67 por ciento en la amplificación del sesgo mientras sacrificaban solo entre uno y dos puntos porcentuales de precisión de clasificación. El trabajo es una advertencia para cualquiera que asuma que la equidad demográfica en la IA puede lograrse únicamente mediante la curación de conjuntos de datos, y apunta hacia intervenciones arquitectónicas más profundas como un camino más fiable hacia adelante.