Variation of Gender Biases in Visual Recognition Models Before and After Finetuning

보도 자료 요약

USC, 컬럼비아 대학교, Meta AI, 라이스 대학교의 연구자들은 인기 있는 사전학습 컴퓨터 비전 모델에 내재된 성별 편향이 특정 다운스트림 작업을 위해 미세조정될 때 어떻게 거동하는지를 추적하는 프레임워크를 개발했는데, 이는 이러한 사전학습 모델이 산업과 학계에서 얼마나 널리 재사용되는지에 비해 놀라울 만큼 체계적인 관심을 거의 받지 못한 문제이다. 연구팀은 COCO와 OpenImages 데이터셋에서 가져온 정제된 참조 이미지 집합을 구축하여 서핑보드와 자동차 같은 일상 객체를 남성 및 여성의 이미지와 짝지은 다음, 모델의 내부 특징 표현이 그러한 객체 이미지를 한 성별과 다른 성별 중 어느 쪽으로 군집화하는지를 미세조정 전과 후 모두에서 측정했다. ResNet 변형, CLIP, MoCo, SimCLR을 포함한 여섯 개의 기성 모델을 서로 다른 아키텍처, 학습 데이터셋 크기, 그리고 지도학습 대 자기지도 학습 방식에 걸쳐 시험한 결과, 연구자들은 세 가지 주목할 만한 패턴을 발견했다. ImageNet-21k 같은 대규모 데이터셋으로 지도학습된 모델은 어떤 새로운 작업으로 미세조정되든 사전학습 편향을 끈질기게 가져가는 경향이 있었다. OpenImages 같은 더 큰 목표 데이터셋으로의 미세조정은 COCO 같은 더 작은 데이터셋으로의 미세조정보다 새로운 편향된 연관을 도입할 가능성이 더 높았다. 그리고 자기지도 모델, 특히 MoCo는 보편적이지는 않았지만 지도학습 대응 모델보다 편향 유지가 덜한 모습을 보였다. 이러한 역학을 정량화하기 위해 연구팀은 Spearman 순위 상관에 기반한 Bias Transfer Score라는 지표를 도입했는데, 이는 모델의 편향 관련 연관이 사전학습 단계와 미세조정 단계 사이에서 얼마나 변화하는지를 측정한다. 이 연구는 많은 개발자가 어떤 사회적 편향을 자신의 애플리케이션에 조용히 들여오고 있는지에 대한 가시성 없이 사전학습 모델을 블랙박스로 채택한다는 점에서 실용적으로 의미가 있다.