Variation of Gender Biases in Visual Recognition Models Before and After Finetuning
Resumo do comunicado de imprensa
Pesquisadores da USC, da Columbia, da Meta AI e da Rice University desenvolveram um framework para rastrear como os vieses de gênero embutidos em populares modelos de visão computacional pré-treinados se comportam quando esses modelos são ajustados finamente para tarefas downstream específicas — uma questão que recebeu surpreendentemente pouca atenção sistemática, apesar de quão amplamente esses modelos pré-treinados são reutilizados na indústria e na academia. A equipe construiu conjuntos curados de imagens de referência extraídas dos conjuntos de dados COCO e OpenImages, emparelhando objetos do cotidiano como pranchas de surfe e carros com imagens de homens e mulheres, e então mediu quão de perto as representações internas de características de um modelo agrupavam essas imagens de objetos com um gênero versus o outro, tanto antes quanto depois do ajuste fino. Testando seis modelos prontos para uso — incluindo variantes do ResNet, CLIP, MoCo e SimCLR — em diferentes arquiteturas, tamanhos de conjuntos de dados de treinamento e regimes de treinamento supervisionado versus autossupervisionado, os pesquisadores encontraram três padrões notáveis: modelos supervisionados em conjuntos de dados em larga escala como o ImageNet-21k tendiam a carregar teimosamente seus vieses de pré-treinamento para qualquer nova tarefa em que fossem ajustados finamente; o ajuste fino em um conjunto de dados-alvo maior como o OpenImages tinha maior probabilidade de introduzir novas associações enviesadas do que o ajuste fino em um menor como o COCO; e os modelos autossupervisionados, particularmente o MoCo, mostraram menor retenção de vieses do que seus equivalentes supervisionados, embora isso não fosse universal. Para quantificar essas dinâmicas, a equipe introduziu uma métrica chamada Bias Transfer Score, baseada na correlação de postos de Spearman, que mede quanto as associações relacionadas a vieses de um modelo se deslocam entre as etapas de pré-treinamento e de ajuste fino. O trabalho é praticamente significativo porque muitos desenvolvedores adotam modelos pré-treinados como caixas-pretas sem visibilidade sobre quais vieses sociais eles podem estar importando silenciosamente para suas aplicações.
resumo
Apresentamos um framework para medir como os vieses mudam antes e depois do ajuste fino de um modelo de reconhecimento visual em larga escala para uma tarefa downstream. Sabe-se que modelos de aprendizado profundo treinados em quantidades crescentes de dados codificam vieses sociais. Muitos sistemas de visão computacional atuais dependem de modelos tipicamente pré-treinados em conjuntos de dados em larga escala. Embora técnicas de mitigação de vieses tenham sido desenvolvidas para ajustar modelos para tarefas downstream, atualmente não está claro quais são os efeitos dos vieses já codificados em um modelo pré-treinado. Nosso framework incorpora conjuntos de imagens canônicas que representam conceitos individuais e pares de conceitos para destacar mudanças nos vieses para uma série de modelos pré-treinados prontos para uso, em diferentes tamanhos de modelo, tamanhos de conjuntos de dados e objetivos de treinamento. Por meio de nossas análises, descobrimos que (1) modelos supervisionados treinados em conjuntos de dados como o ImageNet-21k têm maior probabilidade de reter seus vieses de pré-treinamento independentemente do conjunto de dados-alvo em comparação com modelos autossupervisionados. Também descobrimos que (2) modelos ajustados finamente em conjuntos de dados de maior escala têm maior probabilidade de introduzir novas associações enviesadas. Nossos resultados também sugerem que (3) os vieses podem se transferir para modelos ajustados finamente e que o objetivo e o conjunto de dados do ajuste fino podem impactar a extensão dos vieses transferidos.
detalhes
citação
@inproceedings{ranjit2023variation,
title = {Variation of Gender Biases in Visual Recognition Models Before and After Finetuning},
author = {Ranjit, Jaspreet and Wang, Tianlu and Ray, Baishakhi and Ordonez, Vicente},
year = {2023},
booktitle = {Workshop on Algorithmic Fairness through the Lens of Time at NeuRIPS 2023},
url = {https://arxiv.org/abs/2303.07615},
}