新闻稿摘要
哥伦比亚大学和弗吉尼亚大学的研究人员开发了一种名为 DeepInspect 的测试工具，可自动搜寻用于图像分类的深度神经网络中的系统性错误——这类软件是从 Google Photos 到医疗诊断系统等一切应用背后的支撑。该团队的动机源于一类超越偶发错误的失败：模型持续将整类图像与另一类混淆，或对两组人群区别对待——他们将这些问题称为“混淆”和“偏向”错误。与大多数现有测试方法逐张检查图像的做法不同，DeepInspect 的工作方式是追踪当模型处理每一类图像时网络内部哪些神经元被激活，然后为每个类别构建这些激活模式的统计画像。如果两个类别激活了可疑地相似的神经元集合，工具就将它们标记为可能混淆；如果模型在“男人”与“冲浪板”之间和“女人”与“冲浪板”之间持续保持不同的距离，工具就将这种不对称标记为潜在的偏向。在八个神经网络模型和六个知名数据集（包括 ImageNet、COCO 和 CIFAR）上进行测试，该工具发现了数百个真实的分类错误，在聚焦于排名最靠前的发现时，检测混淆错误的精度高达 100%，检测偏向错误的精度高达 84%。值得注意的是，即使在专门为抵御对抗攻击而设计的模型中，它也发现了这些类别层面的缺陷，这表明这两类问题在很大程度上是相互独立的。这项工作之所以重要，是因为与孤立的误判不同，类别层面的缺陷代表着影响整组用户或物体的结构性弱点——正是这类缺陷导致了 Google 在 2015 年那起臭名昭著的事件，将黑人的照片标记为大猩猩——而现有的测试框架大多忽略了它们。
摘要
图像分类器是当今软件的重要组成部分，从消费级和商业应用到安全攸关领域无所不在。深度神经网络（DNN）的出现是这种广泛成功背后的关键催化剂。然而，广泛采用也带来了对依赖 DNN 进行图像分类的软件系统鲁棒性的严重担忧，因为在敏感和关键的情况下已经报告了若干严重的错误行为。我们认为，开发者需要严格测试其软件的图像分类器，并推迟部署直到达到可接受的水平。我们提出了一种基于类别属性违反的图像分类器鲁棒性测试方法。我们发现，流行的 DNN 图像分类器中许多已报告的错误案例之所以发生，是因为训练好的模型将一个类别与另一个类别混淆，或者表现出对某些类别相对于其他类别的偏向。这些缺陷通常违反了一个或多个相关类别的某些类别属性。大多数 DNN 测试技术专注于单张图像层面的违反，因此无法检测类别层面的混淆或偏向。我们开发了一种测试技术，可自动检测由 DNN 驱动的图像分类软件中基于类别的混淆和偏向错误。我们在多个流行的图像分类器上评估了我们的实现 DeepInspect，其混淆错误的精度高达 100%（平均约 72.6%），偏向错误的精度高达 84.3%（平均约 66.8%）。DeepInspect 在广泛使用的模型中发现了数百个分类错误，其中许多暴露了表明混淆或偏向的错误。
详情
引用
@inproceedings{tian2020testing,
title = {Testing DNN Image Classifiers for Confusion & Bias Errors},
author = {Tian, Yuchi and Zhong, Ziyuan and Ordonez, Vicente and Kaiser, Gail and Ray, Baishakhi},
year = {2020},
booktitle = {International Conference on Software Engineering. ICSE 2020},
url = {https://arxiv.org/abs/1905.07831},
}