Black-box Explanation of Object Detectors via Saliency Maps

Resumo do comunicado de imprensa

Pesquisadores da Boston University e da Adobe Research desenvolveram uma nova técnica chamada D-RISE que pode produzir explicações visuais sobre por que um sistema de detecção de objetos faz as previsões que faz — algo que tem se mostrado surpreendentemente difícil de fazer bem com as ferramentas existentes. Os detectores de objetos são amplamente utilizados em aplicações de visão computacional, mas são notoriamente difíceis de interpretar, e os métodos de explicação anteriores foram projetados para tarefas mais simples de classificação de imagens, tornando-os pouco adequados para sistemas de detecção que precisam simultaneamente identificar o que é um objeto e onde ele se encontra em uma cena. O D-RISE funciona gerando milhares de versões mascaradas aleatoriamente de uma imagem de entrada, passando cada uma pelo detector e, em seguida, medindo o quanto cada região mascarada influenciou a saída do detector usando uma métrica de similaridade personalizada que leva em conta tanto a localização quanto a categoria do objeto. A combinação ponderada dessas máscaras produz um mapa de calor que mostra quais partes da imagem motivaram uma decisão de detecção específica. Em testes no conjunto de dados de referência MS-COCO usando duas arquiteturas populares de detectores — o YOLOv3 de estágio único e o Faster R-CNN de dois estágios — o D-RISE superou as abordagens de base baseadas em gradiente nas métricas de avaliação padrão. O método também revelou alguns comportamentos interessantes: os detectores frequentemente dependem de contexto fora da caixa delimitadora de um objeto, como usar bastões de esqui para ajudar a identificar esquis, e tendem a focar em partes discriminativas específicas em vez de objetos inteiros. Em um experimento controlado, os pesquisadores introduziram deliberadamente vieses artificiais nos dados de treinamento e confirmaram que o D-RISE poderia sinalizar de forma confiável esses vieses no modelo resultante. Como o método trata o detector como uma caixa-preta que não requer acesso a pesos internos ou gradientes, ele pode, em princípio, ser aplicado a qualquer sistema de detecção, inclusive proprietários.