Balanced Datasets Are Not Enough: Estimating and Mitigating Gender Bias in Deep Image Representations
Resumo do comunicado de imprensa
Pesquisadores da University of Virginia, da UCLA e do Allen Institute for Artificial Intelligence descobriram que simplesmente balancear conjuntos de dados de treinamento não é suficiente para impedir que sistemas de reconhecimento de imagens de IA amplifiquem estereótipos de gênero. A equipe estudou modelos treinados em dois conjuntos de dados amplamente usados — o COCO, que rotula objetos do cotidiano, e o imSitu, que rotula ações humanas — e descobriu que, mesmo quando reequilibraram artificialmente os dados de modo que homens e mulheres aparecessem com igual frequência ao lado de cada rótulo de categoria, os modelos treinados ainda aprenderam a associar gênero a essas categorias com taxas infladas aproximadamente iguais às de modelos treinados com os dados distorcidos originais. Para medir esse problema com mais precisão, os pesquisadores desenvolveram duas novas métricas que chamam de "vazamento do conjunto de dados" e "vazamento do modelo", que quantificam com que precisão um observador externo poderia adivinhar o gênero de uma pessoa em uma imagem simplesmente observando quais rótulos um modelo atribui a ela; a diferença entre essas duas medidas captura quanta informação extra de gênero o modelo está introduzindo em suas previsões além do que os próprios dados contêm. Sua explicação para o porquê de o balanceamento falhar é direta: os conjuntos de dados contêm inúmeras pistas visuais não rotuladas — como a presença de crianças, estilos de vestuário ou postura corporal — que se correlacionam com o gênero e não podem ser neutralizadas apenas ajustando a contagem de rótulos. Para realmente reduzir o viés, a equipe treinou modelos com um componente adversarial que penaliza ativamente a rede por codificar características previsíveis de gênero em suas camadas intermediárias, alcançando uma redução de 53 a 67 por cento na amplificação do viés enquanto sacrificava apenas cerca de um a dois pontos percentuais de acurácia de classificação. O trabalho é um alerta para qualquer pessoa que presume que a equidade demográfica em IA pode ser alcançada apenas por meio da curadoria de conjuntos de dados, e aponta para intervenções arquiteturais mais profundas como um caminho mais confiável a seguir.
resumo
Neste trabalho, apresentamos um framework para medir e mitigar vieses intrínsecos em relação a variáveis protegidas — como o gênero — em tarefas de reconhecimento visual. Mostramos que modelos treinados amplificam significativamente a associação de rótulos-alvo com o gênero além do que se esperaria de conjuntos de dados enviesados. Surpreendentemente, mostramos que, mesmo quando os conjuntos de dados são balanceados de modo que cada rótulo coocorra igualmente com cada gênero, os modelos aprendidos amplificam a associação entre rótulos e gênero tanto quanto se os dados não tivessem sido balanceados! Para mitigar isso, adotamos uma abordagem adversarial para remover características indesejadas correspondentes a variáveis protegidas das representações intermediárias em uma rede neural profunda — e fornecemos uma análise detalhada de sua eficácia. Experimentos em dois conjuntos de dados — o conjunto de dados COCO (objetos) e o conjunto de dados imSitu (ações) — mostram reduções na amplificação do viés de gênero, mantendo a maior parte da acurácia dos modelos originais.
detalhes
citação
@inproceedings{wang2019balanced,
title = {Balanced Datasets Are Not Enough: Estimating and Mitigating Gender Bias in Deep Image Representations},
author = {Wang, Tianlu and Zhao, Jieyu and Yatskar, Mark and Chang, Kai-Wei and Ordonez, Vicente},
year = {2019},
booktitle = {International Conference on Computer Vision. ICCV 2019},
url = {https://arxiv.org/abs/1811.08489},
}