Balanced Datasets Are Not Enough: Estimating and Mitigating Gender Bias in Deep Image Representations
Tóm tắt thông cáo báo chí
Các nhà nghiên cứu từ University of Virginia, UCLA, và Allen Institute for Artificial Intelligence đã phát hiện ra rằng việc chỉ đơn giản cân bằng các tập dữ liệu huấn luyện là không đủ để ngăn các hệ thống nhận diện ảnh AI khuếch đại các khuôn mẫu giới tính. Nhóm nghiên cứu đã nghiên cứu các mô hình được huấn luyện trên hai tập dữ liệu được sử dụng rộng rãi — COCO, vốn gán nhãn các đối tượng thường ngày, và imSitu, vốn gán nhãn các hành động của con người — và phát hiện ra rằng ngay cả khi họ cân bằng lại dữ liệu một cách nhân tạo sao cho nam giới và nữ giới xuất hiện thường xuyên ngang nhau bên cạnh mỗi nhãn hạng mục, các mô hình được huấn luyện vẫn học cách liên kết giới tính với những hạng mục đó ở tỉ lệ phóng đại gần như tương đương với các mô hình được huấn luyện trên dữ liệu lệch ban đầu. Để đo lường vấn đề này chính xác hơn, các nhà nghiên cứu đã phát triển hai chỉ số mới mà họ gọi là "rò rỉ tập dữ liệu" (dataset leakage) và "rò rỉ mô hình" (model leakage), vốn định lượng mức độ chính xác mà một người quan sát bên ngoài có thể đoán giới tính của một người trong một ảnh chỉ bằng cách nhìn vào những nhãn mà mô hình gán cho nó; khoảng cách giữa hai thước đo đó nắm bắt lượng thông tin giới tính phụ trội mà mô hình lén đưa vào các dự đoán của nó vượt quá những gì bản thân dữ liệu chứa đựng. Lời giải thích của họ cho lý do việc cân bằng thất bại rất rõ ràng: các tập dữ liệu chứa vô số manh mối thị giác không được gán nhãn — như sự hiện diện của trẻ em, phong cách quần áo, hay tư thế cơ thể — vốn tương quan với giới tính và không thể bị trung hòa chỉ bằng cách điều chỉnh số lượng nhãn. Để thực sự giảm thiên kiến, nhóm nghiên cứu đã huấn luyện các mô hình với một thành phần đối kháng chủ động phạt mạng vì mã hóa các đặc trưng có thể dự đoán giới tính trong các lớp trung gian của nó, đạt được mức giảm 53 đến 67 phần trăm trong khuếch đại thiên kiến trong khi chỉ hy sinh khoảng một đến hai điểm phần trăm về độ chính xác phân loại. Công trình này là một lời cảnh báo cho bất kỳ ai cho rằng tính công bằng nhân khẩu học trong AI có thể đạt được chỉ thông qua việc tuyển chọn tập dữ liệu, và nó chỉ ra các can thiệp kiến trúc sâu hơn như một con đường đáng tin cậy hơn để tiến lên.
tóm tắt
Trong công trình này, chúng tôi trình bày một khung để đo lường và giảm thiểu các thiên kiến nội tại đối với các biến được bảo vệ --chẳng hạn giới tính-- trong các tác vụ nhận diện thị giác. Chúng tôi cho thấy các mô hình đã huấn luyện khuếch đại đáng kể sự liên kết của các nhãn mục tiêu với giới tính vượt xa mức mà người ta có thể kỳ vọng từ các tập dữ liệu thiên lệch. Đáng ngạc nhiên, chúng tôi cho thấy rằng ngay cả khi các tập dữ liệu được cân bằng sao cho mỗi nhãn đồng xuất hiện ngang nhau với mỗi giới tính, các mô hình được học vẫn khuếch đại sự liên kết giữa nhãn và giới tính, nhiều như thể dữ liệu chưa hề được cân bằng! Để giảm thiểu điều này, chúng tôi áp dụng một cách tiếp cận đối kháng để loại bỏ các đặc trưng không mong muốn tương ứng với các biến được bảo vệ khỏi các biểu diễn trung gian trong một mạng nơ-ron sâu -- và cung cấp một phân tích chi tiết về tính hiệu quả của nó. Các thí nghiệm trên hai tập dữ liệu: tập dữ liệu COCO (đối tượng), và tập dữ liệu imSitu (hành động), cho thấy mức giảm trong khuếch đại thiên kiến giới tính trong khi vẫn duy trì được phần lớn độ chính xác của các mô hình gốc.
chi tiết
trích dẫn
@inproceedings{wang2019balanced,
title = {Balanced Datasets Are Not Enough: Estimating and Mitigating Gender Bias in Deep Image Representations},
author = {Wang, Tianlu and Zhao, Jieyu and Yatskar, Mark and Chang, Kai-Wei and Ordonez, Vicente},
year = {2019},
booktitle = {International Conference on Computer Vision. ICCV 2019},
url = {https://arxiv.org/abs/1811.08489},
}