Testing DNN Image Classifiers for Confusion & Bias Errors
Tóm tắt thông cáo báo chí
Các nhà nghiên cứu từ Columbia University và University of Virginia đã phát triển một công cụ kiểm thử tên là DeepInspect, tự động truy tìm các lỗi có hệ thống trong các mạng nơ-ron sâu được dùng để phân loại ảnh — loại phần mềm đứng sau mọi thứ, từ Google Photos đến các hệ thống chẩn đoán y tế. Nhóm nghiên cứu được thúc đẩy bởi một loại lỗi vượt ra ngoài những sai sót đơn lẻ: những trường hợp một mô hình liên tục nhầm lẫn cả một danh mục ảnh với một danh mục khác, hoặc đối xử bất bình đẳng với hai nhóm người — những vấn đề mà họ gọi là lỗi "nhầm lẫn" (confusion) và "thiên kiến" (bias). Thay vì xem xét từng ảnh riêng lẻ như cách hầu hết các phương pháp kiểm thử hiện có làm, DeepInspect hoạt động bằng cách theo dõi nơ-ron nào bên trong một mạng kích hoạt khi mô hình xử lý mỗi lớp ảnh, rồi xây dựng một hồ sơ thống kê của các mẫu kích hoạt đó theo từng lớp. Nếu hai lớp kích hoạt các tập nơ-ron giống nhau một cách đáng ngờ, công cụ đánh dấu chúng là có khả năng bị nhầm lẫn; nếu mô hình duy trì các khoảng cách khác nhau giữa, chẳng hạn, "đàn ông" và "ván lướt sóng" so với "phụ nữ" và "ván lướt sóng", nó đánh dấu sự bất đối xứng đó là một thiên kiến tiềm tàng. Khi thử nghiệm trên tám mô hình mạng nơ-ron và sáu bộ dữ liệu nổi tiếng — bao gồm ImageNet, COCO và CIFAR — công cụ đã tìm thấy hàng trăm lỗi phân loại thực sự, phát hiện các lỗi nhầm lẫn với độ chính xác cao tới 100 phần trăm và các lỗi thiên kiến với độ chính xác lên tới 84 phần trăm khi tập trung vào các phát hiện được xếp hạng cao nhất. Đáng chú ý, nó phát hiện những lỗi ở cấp độ lớp này ngay cả trong các mô hình được thiết kế đặc biệt để bền vững trước các cuộc tấn công đối kháng (adversarial), cho thấy hai loại vấn đề này phần lớn độc lập với nhau. Công trình này quan trọng vì các lỗi ở cấp độ lớp, không giống các dự đoán sai riêng lẻ, đại diện cho những điểm yếu mang tính cấu trúc ảnh hưởng đến cả nhóm người dùng hoặc đối tượng — loại lỗi đã dẫn đến sự cố tai tiếng năm 2015 của Google khi gắn nhãn ảnh người da đen là khỉ đột — và các framework kiểm thử hiện có phần lớn bỏ sót chúng.
tóm tắt
Các bộ phân loại ảnh là một thành phần quan trọng của phần mềm ngày nay, từ các ứng dụng tiêu dùng và doanh nghiệp đến các lĩnh vực trọng yếu về an toàn. Sự ra đời của Deep Neural Networks (DNN) là chất xúc tác chính đằng sau thành công rộng khắp như vậy. Tuy nhiên, việc áp dụng rộng rãi đi kèm với những lo ngại nghiêm trọng về tính bền vững của các hệ thống phần mềm phụ thuộc vào DNN để phân loại ảnh, vì một số hành vi sai lệch nghiêm trọng đã được báo cáo trong các tình huống nhạy cảm và trọng yếu. Chúng tôi lập luận rằng các nhà phát triển cần kiểm thử nghiêm ngặt các bộ phân loại ảnh trong phần mềm của họ và trì hoãn triển khai cho đến khi đạt mức chấp nhận được. Chúng tôi trình bày một cách tiếp cận để kiểm thử tính bền vững của bộ phân loại ảnh dựa trên các vi phạm thuộc tính lớp (class property). Chúng tôi nhận thấy rằng nhiều trường hợp sai lệch được báo cáo trong các bộ phân loại ảnh DNN phổ biến xảy ra vì các mô hình đã huấn luyện nhầm lẫn lớp này với lớp khác hoặc thể hiện thiên kiến ưu ái một số lớp hơn các lớp khác. Những lỗi này thường vi phạm một số thuộc tính lớp của một hoặc nhiều lớp trong số đó. Hầu hết các kỹ thuật kiểm thử DNN tập trung vào các vi phạm theo từng-ảnh, nên không phát hiện được các nhầm lẫn hoặc thiên kiến ở cấp độ lớp. Chúng tôi đã phát triển một kỹ thuật kiểm thử để tự động phát hiện các lỗi nhầm lẫn và thiên kiến dựa trên lớp trong phần mềm phân loại ảnh do DNN điều khiển. Chúng tôi đã đánh giá cách triển khai của mình, DeepInspect, trên một số bộ phân loại ảnh phổ biến với độ chính xác (precision) lên tới 100% (trung bình ~72,6%) cho các lỗi nhầm lẫn, và lên tới 84,3% (trung bình ~66,8%) cho các lỗi thiên kiến. DeepInspect đã tìm thấy hàng trăm lỗi phân loại trong các mô hình được sử dụng rộng rãi, nhiều lỗi trong đó phơi bày các sai lệch chỉ ra sự nhầm lẫn hoặc thiên kiến.
chi tiết
trích dẫn
@inproceedings{tian2020testing,
title = {Testing DNN Image Classifiers for Confusion & Bias Errors},
author = {Tian, Yuchi and Zhong, Ziyuan and Ordonez, Vicente and Kaiser, Gail and Ray, Baishakhi},
year = {2020},
booktitle = {International Conference on Software Engineering. ICSE 2020},
url = {https://arxiv.org/abs/1905.07831},
}