Testing DNN Image Classifiers for Confusion & Bias Errors
Sintesi del comunicato stampa
I ricercatori della Columbia University e della University of Virginia hanno sviluppato uno strumento di test chiamato DeepInspect che individua automaticamente errori sistematici nelle reti neurali profonde utilizzate per classificare le immagini — il tipo di software alla base di tutto, da Google Photos ai sistemi di diagnosi medica. Il team è stato motivato da una categoria di fallimenti che va oltre gli errori isolati: casi in cui un modello confonde costantemente un'intera categoria di immagini con un'altra, o tratta due gruppi di persone in modo diseguale — problemi che chiamano errori di "confusione" e di "pregiudizio". Anziché esaminare singole immagini come fa la maggior parte dei metodi di test esistenti, DeepInspect funziona tracciando quali neuroni all'interno di una rete si attivano quando il modello elabora ciascuna classe di immagini, per poi costruire un profilo statistico di tali schemi di attivazione per classe. Se due classi attivano insiemi di neuroni sospettosamente simili, lo strumento le segnala come probabilmente confuse; se il modello mantiene distanze diverse tra, poniamo, "man" e "surfboard" rispetto a "woman" e "surfboard", segnala quell'asimmetria come un potenziale pregiudizio. Testato su otto modelli di reti neurali e sei dataset ben noti — tra cui ImageNet, COCO e CIFAR — lo strumento ha individuato centinaia di veri errori di classificazione, rilevando errori di confusione con una precisione fino al 100 percento ed errori di pregiudizio con una precisione fino all'84 percento concentrandosi sui risultati con il punteggio più alto. In particolare, ha scoperto questi difetti a livello di classe anche in modelli specificamente progettati per essere robusti agli attacchi avversari, suggerendo che i due tipi di problemi siano in gran parte indipendenti. Il lavoro è importante perché i bug a livello di classe, a differenza delle errate previsioni isolate, rappresentano debolezze strutturali che riguardano interi gruppi di utenti o oggetti — il tipo di difetto che ha portato al famigerato incidente di Google del 2015 che etichettava le foto di persone nere come gorilla — ed è in gran parte sfuggito ai framework di test esistenti.
abstract
I classificatori di immagini sono un componente importante del software odierno, dalle applicazioni consumer e aziendali ai domini critici per la sicurezza. L'avvento delle Deep Neural Networks (DNN) è il principale catalizzatore di questo diffuso successo. Tuttavia, l'ampia adozione si accompagna a serie preoccupazioni sulla robustezza dei sistemi software che dipendono dalle DNN per la classificazione di immagini, dato che sono stati segnalati diversi gravi comportamenti errati in circostanze sensibili e critiche. Sosteniamo che gli sviluppatori debbano testare rigorosamente i classificatori di immagini del proprio software e rinviarne il deployment finché non siano accettabili. Presentiamo un approccio al test della robustezza dei classificatori di immagini basato sulle violazioni delle proprietà di classe. Abbiamo riscontrato che molti dei casi errati segnalati nei popolari classificatori di immagini basati su DNN si verificano perché i modelli addestrati confondono una classe con un'altra o mostrano pregiudizi a favore di alcune classi rispetto ad altre. Questi bug di solito violano alcune proprietà di classe di una o più di tali classi. La maggior parte delle tecniche di test delle DNN si concentra sulle violazioni per singola immagine e quindi non riesce a rilevare confusioni o pregiudizi a livello di classe. Abbiamo sviluppato una tecnica di test per rilevare automaticamente errori di confusione e di pregiudizio basati sulle classi nel software di classificazione di immagini guidato da DNN. Abbiamo valutato la nostra implementazione, DeepInspect, su diversi popolari classificatori di immagini con una precisione fino al 100% (media ~72,6%) per gli errori di confusione e fino all'84,3% (media ~66,8%) per gli errori di pregiudizio. DeepInspect ha individuato centinaia di errori di classificazione in modelli ampiamente utilizzati, molti dei quali espongono errori che indicano confusione o pregiudizio.
dettagli
citazione
@inproceedings{tian2020testing,
title = {Testing DNN Image Classifiers for Confusion & Bias Errors},
author = {Tian, Yuchi and Zhong, Ziyuan and Ordonez, Vicente and Kaiser, Gail and Ray, Baishakhi},
year = {2020},
booktitle = {International Conference on Software Engineering. ICSE 2020},
url = {https://arxiv.org/abs/1905.07831},
}