Black-box Explanation of Object Detectors via Saliency Maps

Tóm tắt thông cáo báo chí

Các nhà nghiên cứu từ Boston University và Adobe Research đã phát triển một kỹ thuật mới gọi là D-RISE có thể tạo ra các giải thích trực quan cho lý do tại sao một hệ thống phát hiện đối tượng đưa ra các dự đoán của nó — một điều đã được chứng minh là khó thực hiện tốt một cách đáng ngạc nhiên với các công cụ hiện có. Các bộ phát hiện đối tượng được sử dụng rộng rãi trong các ứng dụng thị giác máy tính nhưng nổi tiếng là khó diễn giải, và các phương pháp giải thích trước đây được thiết kế cho các tác vụ phân loại ảnh đơn giản hơn, khiến chúng kém phù hợp với các hệ thống phát hiện vốn phải đồng thời nhận diện một đối tượng là gì và nó nằm ở đâu trong một cảnh. D-RISE hoạt động bằng cách tạo ra hàng nghìn phiên bản được che ngẫu nhiên của một ảnh đầu vào, đưa từng phiên bản qua bộ phát hiện, rồi đo lường mỗi vùng được che ảnh hưởng bao nhiêu đến đầu ra của bộ phát hiện bằng một thước đo tương đồng tùy chỉnh có tính đến cả vị trí lẫn loại đối tượng. Sự kết hợp có trọng số của các mặt nạ đó tạo ra một bản đồ nhiệt cho thấy phần nào của ảnh đã thúc đẩy một quyết định phát hiện cụ thể. Trong các thử nghiệm trên bộ dữ liệu benchmark MS-COCO sử dụng hai kiến trúc bộ phát hiện phổ biến — YOLOv3 một giai đoạn và Faster R-CNN hai giai đoạn — D-RISE vượt trội hơn các baseline dựa trên gradient trên các thước đo đánh giá tiêu chuẩn. Phương pháp cũng làm lộ ra một số hành vi thú vị: các bộ phát hiện thường dựa vào ngữ cảnh bên ngoài hộp bao của một đối tượng, chẳng hạn như dùng gậy trượt tuyết để giúp nhận diện ván trượt, và có xu hướng tập trung vào các bộ phận phân biệt cụ thể thay vì toàn bộ đối tượng. Trong một thí nghiệm có kiểm soát, các nhà nghiên cứu đã cố ý đưa các thiên kiến nhân tạo vào dữ liệu huấn luyện và xác nhận rằng D-RISE có thể đáng tin cậy gắn cờ những thiên kiến đó trong mô hình kết quả. Vì phương pháp coi bộ phát hiện như một hộp đen không cần truy cập vào các trọng số hoặc gradient nội bộ, về nguyên tắc nó có thể được áp dụng cho bất kỳ hệ thống phát hiện nào, kể cả các hệ thống độc quyền.