Testing DNN Image Classifiers for Confusion & Bias Errors
Résumé du communiqué de presse
Des chercheurs de l'université Columbia et de l'université de Virginie ont mis au point un outil de test appelé DeepInspect qui traque automatiquement les erreurs systématiques dans les réseaux de neurones profonds utilisés pour classer les images — le type de logiciel qui sous-tend tout, de Google Photos aux systèmes de diagnostic médical. L'équipe a été motivée par une catégorie de défaillances qui dépassent les erreurs ponctuelles : les cas où un modèle confond systématiquement une catégorie entière d'images avec une autre, ou traite deux groupes de personnes de manière inégale — des problèmes qu'ils appellent erreurs de « confusion » et de « biais ». Plutôt que d'examiner des images individuelles comme le font la plupart des méthodes de test existantes, DeepInspect fonctionne en suivant quels neurones au sein d'un réseau s'activent lorsque le modèle traite chaque classe d'images, puis en construisant un profil statistique de ces schémas d'activation par classe. Si deux classes activent des ensembles de neurones suspectement similaires, l'outil les signale comme probablement confondues ; si le modèle maintient des distances différentes entre, par exemple, « homme » et « planche de surf » contre « femme » et « planche de surf », il signale cette asymétrie comme un biais potentiel. Testé sur huit modèles de réseaux de neurones et six jeux de données bien connus — dont ImageNet, COCO et CIFAR — l'outil a trouvé des centaines de véritables erreurs de classification, détectant les erreurs de confusion avec une précision atteignant 100 pour cent et les erreurs de biais avec une précision allant jusqu'à 84 pour cent lorsqu'il se concentrait sur ses résultats les mieux classés. Fait notable, il a mis au jour ces failles au niveau des classes même dans des modèles spécifiquement conçus pour résister aux attaques adverses, ce qui suggère que les deux types de problèmes sont largement indépendants. Ces travaux importent car les bugs au niveau des classes, contrairement aux erreurs de prédiction isolées, représentent des faiblesses structurelles qui affectent des groupes entiers d'utilisateurs ou d'objets — le genre de défaut qui a conduit au tristement célèbre incident de Google en 2015, qui étiquetait des photos de personnes noires comme des gorilles — et les cadres de test existants passent largement à côté.
résumé
Les classifieurs d'images sont un composant important des logiciels d'aujourd'hui, des applications grand public et professionnelles aux domaines critiques pour la sécurité. L'avènement des réseaux de neurones profonds (DNN) est le principal catalyseur de ce succès si répandu. Cependant, cette large adoption s'accompagne de sérieuses préoccupations quant à la robustesse des systèmes logiciels dépendant des DNN pour la classification d'images, car plusieurs comportements erronés graves ont été signalés dans des circonstances sensibles et critiques. Nous soutenons que les développeurs doivent tester rigoureusement les classifieurs d'images de leur logiciel et différer le déploiement jusqu'à ce qu'il soit acceptable. Nous présentons une approche de test de la robustesse des classifieurs d'images fondée sur les violations de propriétés de classe. Nous avons constaté que bon nombre des cas erronés signalés dans les classifieurs d'images DNN populaires surviennent parce que les modèles entraînés confondent une classe avec une autre ou présentent des biais en faveur de certaines classes au détriment d'autres. Ces erreurs violent généralement certaines propriétés de classe d'une ou de plusieurs de ces classes. La plupart des techniques de test de DNN se concentrent sur les violations par image, et ne parviennent donc pas à détecter les confusions ou biais au niveau des classes. Nous avons mis au point une technique de test pour détecter automatiquement les erreurs de confusion et de biais fondées sur les classes dans les logiciels de classification d'images pilotés par DNN. Nous avons évalué notre implémentation, DeepInspect, sur plusieurs classifieurs d'images populaires, avec une précision atteignant 100 % (moy. ~72,6 %) pour les erreurs de confusion, et jusqu'à 84,3 % (moy. ~66,8 %) pour les erreurs de biais. DeepInspect a trouvé des centaines d'erreurs de classification dans des modèles largement utilisés, dont beaucoup exposent des erreurs révélatrices de confusion ou de biais.
détails
citation
@inproceedings{tian2020testing,
title = {Testing DNN Image Classifiers for Confusion & Bias Errors},
author = {Tian, Yuchi and Zhong, Ziyuan and Ordonez, Vicente and Kaiser, Gail and Ray, Baishakhi},
year = {2020},
booktitle = {International Conference on Software Engineering. ICSE 2020},
url = {https://arxiv.org/abs/1905.07831},
}