Gender Bias in Contextualized Word Embeddings

Resumo do comunicado de imprensa

Pesquisadores da UCLA, da University of Virginia, do Allen Institute for Artificial Intelligence e da University of Cambridge descobriram que o ELMo, um sistema amplamente utilizado para gerar representações de palavras sensíveis ao contexto no processamento de linguagem natural, codifica um viés de gênero significativo que se propaga para aplicações práticas. A equipe atribuiu o problema em parte a dados de treinamento enviesados: no corpus One Billion Word Benchmark usado para treinar o ELMo, pronomes masculinos aparecem cerca de três vezes mais frequentemente do que pronomes femininos, e pronomes masculinos coocorrem com mais frequência com termos ocupacionais, independentemente de essas profissões serem tradicionalmente masculinas ou femininas. Usando análise de componentes principais, os pesquisadores mostraram que a geometria interna do ELMo na verdade captura o gênero ao longo de duas dimensões distintas — uma ligada ao contexto circundante, outra ligada à própria palavra — e que um classificador consegue prever o gênero de uma entidade masculina a partir de uma palavra de ocupação com cerca de 14 pontos percentuais a mais de precisão do que o de uma entidade feminina, um sinal de que o modelo trata os dois gêneros de forma desigual. Quando um sistema de resolução de correferência de ponta construído sobre o ELMo foi testado no WinoBias, um conjunto de dados diagnóstico projetado para sondar estereótipos de gênero ocupacionais, ele apresentou uma diferença de quase 30 pontos percentuais entre sua precisão em exemplos estereotipicamente de gênero versus contraestereotípicos — substancialmente pior do que um sistema comparável usando os embeddings GloVe mais antigos e não contextualizados. A equipe testou dois remédios: aumentar os dados de treinamento trocando palavras com marcação de gênero para criar exemplos balanceados eliminou em grande parte o viés, enquanto uma abordagem mais simples, em tempo de teste, de calcular a média de embeddings de frases com gênero trocado funcionou apenas parcialmente. As descobertas são importantes porque embeddings contextualizados como ELMo e BERT são cada vez mais a espinha dorsal de sistemas de PLN em produção, o que significa que vieses não examinados nesses componentes fundamentais podem se propagar silenciosamente para ferramentas do mundo real.