Testing DNN Image Classifiers for Confusion & Bias Errors
Краткое изложение пресс-релиза
Исследователи из Columbia University и University of Virginia разработали инструмент тестирования под названием DeepInspect, который автоматически выискивает систематические ошибки в глубоких нейронных сетях, используемых для классификации изображений, — программном обеспечении, лежащем в основе всего, от Google Photos до систем медицинской диагностики. Команду мотивировал класс сбоев, выходящих за рамки единичных ошибок: случаи, когда модель последовательно путает целую категорию изображений с другой или относится к двум группам людей неравноценно, — проблемы, которые они называют ошибками «путаницы» и «предвзятости». Вместо изучения отдельных изображений, как делает большинство существующих методов тестирования, DeepInspect работает, отслеживая, какие нейроны внутри сети активируются, когда модель обрабатывает каждый класс изображений, а затем строя статистический профиль этих паттернов активации для каждого класса. Если два класса активируют подозрительно схожие наборы нейронов, инструмент помечает их как вероятно перепутанные; если модель сохраняет разные расстояния между, скажем, «man» и «surfboard» по сравнению с «woman» и «surfboard», он помечает эту асимметрию как потенциальную предвзятость. Протестированный на восьми моделях нейронных сетей и шести хорошо известных наборах данных, включая ImageNet, COCO и CIFAR, инструмент обнаружил сотни реальных ошибок классификации, выявляя ошибки путаницы с точностью до 100 процентов и ошибки предвзятости с точностью до 84 процентов при фокусировке на наиболее высоко ранжированных находках. Примечательно, что он выявил эти недостатки на уровне классов даже в моделях, специально разработанных для устойчивости к состязательным атакам, что говорит о том, что эти два типа проблем во многом независимы. Эта работа важна, поскольку ошибки на уровне классов, в отличие от изолированных неверных предсказаний, представляют собой структурные слабости, затрагивающие целые группы пользователей или объектов, — тот самый тип изъяна, который привёл к печально известному инциденту Google в 2015 году, когда фотографии чернокожих людей были помечены как гориллы, — и существующие фреймворки тестирования по большей части их упускают.
аннотация
Классификаторы изображений являются важным компонентом современного программного обеспечения — от потребительских и бизнес-приложений до критически важных для безопасности областей. Появление глубоких нейронных сетей (DNN) — ключевой катализатор такого широкого успеха. Однако широкое распространение сопровождается серьёзными опасениями относительно надёжности программных систем, зависящих от DNN для классификации изображений, поскольку в чувствительных и критических обстоятельствах сообщалось о нескольких серьёзных ошибочных формах поведения. Мы утверждаем, что разработчикам необходимо тщательно тестировать классификаторы изображений в своём программном обеспечении и откладывать развёртывание до приемлемого уровня. Мы представляем подход к тестированию надёжности классификаторов изображений на основе нарушений свойств классов. Мы обнаружили, что многие из зарегистрированных ошибочных случаев в популярных DNN-классификаторах изображений возникают потому, что обученные модели путают один класс с другим или проявляют предвзятость в пользу одних классов над другими. Эти ошибки обычно нарушают некоторые свойства класса одного или нескольких из этих классов. Большинство техник тестирования DNN фокусируются на нарушениях на уровне отдельных изображений, поэтому не способны обнаружить путаницы или предвзятости на уровне классов. Мы разработали технику тестирования для автоматического обнаружения ошибок путаницы и предвзятости на основе классов в программном обеспечении для классификации изображений на основе DNN. Мы оценили нашу реализацию, DeepInspect, на нескольких популярных классификаторах изображений с точностью до 100% (в среднем ~72,6%) для ошибок путаницы и до 84,3% (в среднем ~66,8%) для ошибок предвзятости. DeepInspect обнаружил сотни ошибок классификации в широко используемых моделях, многие из которых выявляют ошибки, указывающие на путаницу или предвзятость.
подробности
цитирование
@inproceedings{tian2020testing,
title = {Testing DNN Image Classifiers for Confusion & Bias Errors},
author = {Tian, Yuchi and Zhong, Ziyuan and Ordonez, Vicente and Kaiser, Gail and Ray, Baishakhi},
year = {2020},
booktitle = {International Conference on Software Engineering. ICSE 2020},
url = {https://arxiv.org/abs/1905.07831},
}