プレスリリース要約
コロンビア大学とバージニア大学の研究者らは、Google Photosから医療診断システムに至るまであらゆるものの背後にある種類のソフトウェアである、画像分類に用いられる深層ニューラルネットワークの系統的な誤りを自動的に探し出す、DeepInspectと呼ばれるテストツールを開発した。チームの動機となったのは、一回限りの誤りを超えた種類の障害、すなわちモデルが画像のカテゴリ全体を別のカテゴリと一貫して取り違えたり、2つの人々のグループを不平等に扱ったりする事例であり、彼らはこれらを「混同」および「バイアス」の誤りと呼んでいる。既存のテスト手法の多くのように個々の画像を調べるのではなく、DeepInspectは、モデルが各クラスの画像を処理する際にネットワーク内のどのニューロンが発火するかを追跡し、それらの活性化パターンのクラスごとの統計的プロファイルを構築することで機能する。2つのクラスが疑わしいほど似たニューロンの集合を活性化させる場合、ツールはそれらを混同の可能性が高いものとして指摘する。また、モデルが例えば「男性」と「サーフボード」の間と「女性」と「サーフボード」の間とで異なる距離を保っている場合、その非対称性を潜在的なバイアスとして指摘する。ImageNet、COCO、CIFARを含む8つのニューラルネットワークモデルと6つのよく知られたデータセットでテストしたところ、ツールは数百件の実際の分類の誤りを発見し、上位にランクされた発見に注目した場合、混同の誤りを最大100パーセント、バイアスの誤りを最大84パーセントの精度で検出した。注目すべきことに、敵対的攻撃に対して頑健になるように特別に設計されたモデルにおいてさえ、これらのクラスレベルの欠陥を明らかにし、2種類の問題がおおむね独立していることを示唆している。この研究が重要なのは、クラスレベルのバグが、孤立した誤予測とは異なり、ユーザーや物体のグループ全体に影響を及ぼす構造的な弱点を表しているからである。これは、Googleが2015年に黒人の写真をゴリラとタグ付けしたことで悪名高い事件を引き起こしたような種類の欠陥であり、既存のテストフレームワークはそれらをほとんど見逃している。
要旨
画像分類器は、消費者向けおよびビジネス向けのアプリケーションから安全性が重視される領域に至るまで、今日のソフトウェアの重要な構成要素である。深層ニューラルネットワーク（DNN）の登場は、こうした広範な成功の背後にある重要な触媒である。しかし、その広範な採用には、画像分類をDNNに依存するソフトウェアシステムの頑健性に関する深刻な懸念が伴う。なぜなら、機微で重大な状況下でいくつかの深刻な誤った挙動が報告されているからである。我々は、開発者が自社のソフトウェアの画像分類器を厳密にテストし、許容できるレベルになるまで展開を遅らせる必要があると主張する。我々は、クラス特性の違反に基づいて画像分類器の頑健性をテストするアプローチを提示する。我々は、人気のあるDNN画像分類器で報告された誤りの事例の多くが、訓練済みモデルがあるクラスを別のクラスと混同したり、一部のクラスを他のクラスより優先するバイアスを示したりするために発生することを発見した。これらのバグは通常、それらのクラスの1つまたは複数の何らかのクラス特性に違反している。ほとんどのDNNテスト手法は画像単位の違反に焦点を当てているため、クラスレベルの混同やバイアスを検出できない。我々は、DNN駆動の画像分類ソフトウェアにおけるクラスベースの混同およびバイアスの誤りを自動的に検出するテスト手法を開発した。我々は、実装したDeepInspectをいくつかの人気のある画像分類器で評価し、混同の誤りについて最大100%（平均約72.6%）、バイアスの誤りについて最大84.3%（平均約66.8%）の精度を得た。DeepInspectは広く使われているモデルにおいて数百件の分類の誤りを発見し、その多くが混同またはバイアスを示す誤りを露呈した。
詳細
引用
@inproceedings{tian2020testing,
title = {Testing DNN Image Classifiers for Confusion & Bias Errors},
author = {Tian, Yuchi and Zhong, Ziyuan and Ordonez, Vicente and Kaiser, Gail and Ray, Baishakhi},
year = {2020},
booktitle = {International Conference on Software Engineering. ICSE 2020},
url = {https://arxiv.org/abs/1905.07831},
}