Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation.

Tóm tắt thông cáo báo chí

Các nhà nghiên cứu từ UC Santa Barbara và Rice University đã phát hiện ra rằng GPT-2, một trong những mô hình tạo văn bản được sử dụng rộng rãi nhất, ghép phụ nữ với các chức danh công việc cấp thấp hơn và đàn ông với các chức danh cao hơn một cách có hệ thống — và rằng xu hướng này trở nên tồi tệ hơn khi các tín hiệu về thâm niên được thêm vào một lời nhắc. Để nghiên cứu vấn đề, nhóm đã xây dựng một bộ dữ liệu gồm các đoạn văn bản từ thực tế rút từ các kết quả tìm kiếm Google bao phủ hai lĩnh vực chuyên môn: các thượng nghị sĩ Hoa Kỳ và các giáo sư khoa học máy tính. Sau đó họ tạo ra các phiên bản "phản thực" được ghép cặp của mỗi đoạn bằng cách hoán đổi hoặc nhãn giới tính hoặc nhãn thâm niên, cho phép họ đo lường mức độ tự tin của mô hình thay đổi như thế nào tùy thuộc vào tổ hợp nào nó nhìn thấy. Trong một bài kiểm tra perplexity — về cơ bản là hỏi GPT-2 ngạc nhiên đến mức nào trước một câu cho trước — mô hình liên tục thấy ít hợp lý hơn khi một phụ nữ giữ một chức danh cấp cao so với khi một đàn ông giữ chức đó, trong khi điều ngược lại đúng với các chức danh cấp thấp. Trong một thí nghiệm thứ hai, nhóm đã cung cấp cho mô hình các lời nhắc trung lập về giới chỉ khác nhau về cách diễn đạt thâm niên và để các người chấm điểm con người phân loại giới tính của ngôn ngữ mà GPT-2 tạo ra để đáp lại; mô hình tạo ra văn bản mang giới tính nam thường xuyên hơn nhiều so với mức mà nhân khẩu học thực tế của các thượng nghị sĩ hoặc giáo sư có thể biện minh, và khoảng cách nới rộng ra khi từ "senior" xuất hiện trong lời nhắc. Các phát hiện có ý nghĩa bởi GPT-2 và các mô hình tương tự làm nền tảng cho các công cụ như các bộ sàng lọc hồ sơ và các chatbot nhân sự, nghĩa là các thiên kiến giới-và-thâm niên kết hợp này có thể chuyển hóa trực tiếp thành các cơ hội nghề nghiệp bất bình đẳng cho phụ nữ.