Testing DNN Image Classifiers for Confusion & Bias Errors
Resumo do comunicado de imprensa
Pesquisadores da Columbia University e da University of Virginia desenvolveram uma ferramenta de teste chamada DeepInspect que caça automaticamente erros sistemáticos nas redes neurais profundas usadas para classificar imagens — o tipo de software por trás de tudo, desde o Google Photos até sistemas de diagnóstico médico. A equipe foi motivada por uma classe de falhas que vai além de erros pontuais: casos em que um modelo confunde consistentemente uma categoria inteira de imagens com outra, ou trata dois grupos de pessoas de forma desigual — problemas que eles chamam de erros de "confusão" e "viés". Em vez de examinar imagens individuais como fazem a maioria dos métodos de teste existentes, o DeepInspect funciona rastreando quais neurônios dentro de uma rede disparam quando o modelo processa cada classe de imagens e, em seguida, construindo um perfil estatístico desses padrões de ativação por classe. Se duas classes ativam conjuntos suspeitosamente semelhantes de neurônios, a ferramenta as sinaliza como provavelmente confundidas; se o modelo mantém distâncias diferentes entre, por exemplo, "man" e "surfboard" versus "woman" e "surfboard", ela sinaliza essa assimetria como um possível viés. Testada em oito modelos de redes neurais e seis conjuntos de dados bem conhecidos — incluindo ImageNet, COCO e CIFAR — a ferramenta encontrou centenas de erros reais de classificação, detectando erros de confusão com precisão de até 100 por cento e erros de viés com precisão de até 84 por cento ao focar em suas descobertas mais bem classificadas. Notavelmente, ela revelou essas falhas em nível de classe mesmo em modelos especificamente projetados para serem robustos contra ataques adversariais, sugerindo que os dois tipos de problemas são em grande parte independentes. O trabalho importa porque os erros em nível de classe, ao contrário de previsões equivocadas isoladas, representam fraquezas estruturais que afetam grupos inteiros de usuários ou objetos — o tipo de falha que levou ao infame incidente do Google em 2015 que marcou fotos de pessoas negras como gorilas — e os frameworks de teste existentes em grande parte os ignoram.
resumo
Classificadores de imagens são um componente importante dos softwares atuais, desde aplicações de consumo e empresariais até domínios críticos de segurança. O advento das Redes Neurais Profundas (DNNs) é o principal catalisador por trás desse sucesso tão difundido. No entanto, a ampla adoção vem acompanhada de sérias preocupações quanto à robustez de sistemas de software dependentes de DNNs para classificação de imagens, já que vários comportamentos errôneos graves foram relatados em circunstâncias sensíveis e críticas. Defendemos que os desenvolvedores precisam testar rigorosamente os classificadores de imagens de seus softwares e adiar a implantação até que seja aceitável. Apresentamos uma abordagem para testar a robustez de classificadores de imagens baseada em violações de propriedades de classe. Constatamos que muitos dos casos errôneos relatados em classificadores de imagens populares baseados em DNN ocorrem porque os modelos treinados confundem uma classe com outra ou apresentam vieses em favor de algumas classes em detrimento de outras. Esses erros geralmente violam algumas propriedades de classe de uma ou mais dessas classes. A maioria das técnicas de teste de DNN concentra-se em violações por imagem, falhando, portanto, em detectar confusões ou vieses em nível de classe. Desenvolvemos uma técnica de teste para detectar automaticamente erros de confusão e viés baseados em classe em softwares de classificação de imagens orientados por DNN. Avaliamos nossa implementação, o DeepInspect, em vários classificadores de imagens populares com precisão de até 100% (média ~72,6%) para erros de confusão e de até 84,3% (média ~66,8%) para erros de viés. O DeepInspect encontrou centenas de erros de classificação em modelos amplamente utilizados, muitos deles expondo erros que indicam confusão ou viés.
detalhes
citação
@inproceedings{tian2020testing,
title = {Testing DNN Image Classifiers for Confusion & Bias Errors},
author = {Tian, Yuchi and Zhong, Ziyuan and Ordonez, Vicente and Kaiser, Gail and Ray, Baishakhi},
year = {2020},
booktitle = {International Conference on Software Engineering. ICSE 2020},
url = {https://arxiv.org/abs/1905.07831},
}