Variation of Gender Biases in Visual Recognition Models Before and After Finetuning
Zusammenfassung der Pressemitteilung
Forschende der USC, der Columbia University, von Meta AI und der Rice University haben ein Rahmenwerk entwickelt, um zu verfolgen, wie sich Geschlechterverzerrungen, die in beliebten vortrainierten Computer-Vision-Modellen verankert sind, verhalten, wenn diese Modelle für bestimmte nachgelagerte Aufgaben feinabgestimmt werden – eine Frage, der trotz der weiten Verbreitung dieser vortrainierten Modelle in Industrie und Wissenschaft überraschend wenig systematische Aufmerksamkeit zuteilwurde. Das Team stellte kuratierte Sätze von Referenzbildern aus den Datensätzen COCO und OpenImages zusammen, paarte Alltagsobjekte wie Surfbretter und Autos mit Bildern von Männern und Frauen und maß dann, wie eng die internen Merkmalsrepräsentationen eines Modells diese Objektbilder mit dem einen oder dem anderen Geschlecht gruppierten, sowohl vor als auch nach dem Feintuning. Bei der Prüfung von sechs gebrauchsfertigen Modellen – darunter ResNet-Varianten, CLIP, MoCo und SimCLR – über verschiedene Architekturen, Trainingsdatensatzgrößen sowie überwachte und selbstüberwachte Trainingsregime hinweg fanden die Forschenden drei bemerkenswerte Muster: Modelle, die auf großmaßstäblichen Datensätzen wie ImageNet-21k überwacht trainiert wurden, neigten dazu, ihre Vortrainings-Verzerrungen hartnäckig in jede neue Aufgabe mitzunehmen, für die sie feinabgestimmt wurden; ein Feintuning auf einem größeren Zieldatensatz wie OpenImages führte eher neue verzerrte Assoziationen ein als ein Feintuning auf einem kleineren wie COCO; und selbstüberwachte Modelle, insbesondere MoCo, zeigten weniger Verzerrungsbeibehaltung als ihre überwachten Gegenstücke, auch wenn dies nicht durchgängig der Fall war. Um diese Dynamiken zu quantifizieren, führte das Team eine Metrik namens Bias Transfer Score ein, die auf der Rangkorrelation nach Spearman beruht und misst, wie stark sich die verzerrungsbezogenen Assoziationen eines Modells zwischen der Vortrainings- und der Feintuning-Phase verschieben. Die Arbeit ist praktisch bedeutsam, weil viele Entwickler vortrainierte Modelle als Blackbox übernehmen, ohne Einblick darin zu haben, welche gesellschaftlichen Verzerrungen sie möglicherweise unbemerkt in ihre Anwendungen importieren.
Zusammenfassung
Wir führen ein Rahmenwerk ein, um zu messen, wie sich Verzerrungen vor und nach dem Feintuning eines großmaßstäblichen visuellen Erkennungsmodells für eine nachgelagerte Aufgabe verändern. Es ist bekannt, dass Deep-Learning-Modelle, die auf zunehmend großen Datenmengen trainiert werden, gesellschaftliche Verzerrungen kodieren. Viele heutige Computer-Vision-Systeme stützen sich auf Modelle, die typischerweise auf großmaßstäblichen Datensätzen vortrainiert wurden. Während Techniken zur Verzerrungsminderung für das Tuning von Modellen für nachgelagerte Aufgaben entwickelt wurden, ist derzeit unklar, welche Auswirkungen die bereits in einem vortrainierten Modell kodierten Verzerrungen haben. Unser Rahmenwerk verwendet Sätze kanonischer Bilder, die einzelne Konzepte und Konzeptpaare repräsentieren, um Veränderungen von Verzerrungen für eine Reihe gebrauchsfertiger vortrainierter Modelle über Modellgrößen, Datensatzgrößen und Trainingsziele hinweg sichtbar zu machen. Durch unsere Analysen stellen wir fest, dass (1) überwacht trainierte Modelle auf Datensätzen wie ImageNet-21k mit größerer Wahrscheinlichkeit ihre Vortrainings-Verzerrungen beibehalten, unabhängig vom Zieldatensatz, verglichen mit selbstüberwachten Modellen. Wir stellen außerdem fest, dass (2) Modelle, die auf größeren Datensätzen feinabgestimmt werden, mit größerer Wahrscheinlichkeit neue verzerrte Assoziationen einführen. Unsere Ergebnisse legen zudem nahe, dass (3) Verzerrungen auf feinabgestimmte Modelle übertragen werden können und dass das Feintuning-Ziel und der Datensatz das Ausmaß der übertragenen Verzerrungen beeinflussen können.
Details
Zitation
@inproceedings{ranjit2023variation,
title = {Variation of Gender Biases in Visual Recognition Models Before and After Finetuning},
author = {Ranjit, Jaspreet and Wang, Tianlu and Ray, Baishakhi and Ordonez, Vicente},
year = {2023},
booktitle = {Workshop on Algorithmic Fairness through the Lens of Time at NeuRIPS 2023},
url = {https://arxiv.org/abs/2303.07615},
}