Balanced Datasets Are Not Enough: Estimating and Mitigating Gender Bias in Deep Image Representations

Zusammenfassung der Pressemitteilung

Forscher der University of Virginia, der UCLA und des Allen Institute for Artificial Intelligence haben herausgefunden, dass das bloße Ausbalancieren von Trainingsdatensätzen nicht ausreicht, um zu verhindern, dass KI-Bilderkennungssysteme Geschlechterstereotype verstärken. Das Team untersuchte Modelle, die auf zwei weit verbreiteten Datensätzen trainiert wurden – COCO, der Alltagsobjekte kennzeichnet, und imSitu, der menschliche Handlungen kennzeichnet – und stellte fest, dass die trainierten Modelle selbst dann, wenn die Daten künstlich neu ausbalanciert wurden, sodass Männer und Frauen gleich häufig neben jeder Kategoriebezeichnung erschienen, immer noch lernten, das Geschlecht mit diesen Kategorien in etwa denselben überhöhten Raten zu assoziieren wie Modelle, die auf den ursprünglich verzerrten Daten trainiert wurden. Um dieses Problem präziser zu messen, entwickelten die Forscher zwei neue Metriken, die sie "dataset leakage" und "model leakage" nennen und die quantifizieren, wie genau ein außenstehender Beobachter das Geschlecht einer Person in einem Bild allein anhand der Bezeichnungen, die ein Modell ihm zuweist, erraten könnte; die Lücke zwischen diesen beiden Maßen erfasst, wie viel zusätzliche Geschlechtsinformation das Modell über das hinaus, was die Daten selbst enthalten, in seine Vorhersagen einschleust. Ihre Erklärung dafür, warum das Ausbalancieren scheitert, ist unkompliziert: Datensätze enthalten unzählige nicht gekennzeichnete visuelle Hinweise – wie die Anwesenheit von Kindern, Kleidungsstile oder Körperhaltung –, die mit dem Geschlecht korrelieren und sich nicht allein durch die Anpassung der Bezeichnungshäufigkeiten neutralisieren lassen. Um die Verzerrung tatsächlich zu verringern, trainierte das Team Modelle mit einer adversarialen Komponente, die das Netzwerk aktiv dafür bestraft, wenn es in seinen Zwischenschichten geschlechtsvorhersagbare Merkmale codiert, und erzielte so eine Verringerung der Verzerrungsverstärkung um 53 bis 67 Prozent, wobei nur etwa ein bis zwei Prozentpunkte an Klassifikationsgenauigkeit geopfert wurden. Die Arbeit ist eine Warnung an alle, die annehmen, dass demografische Fairness in der KI allein durch die Kuratierung von Datensätzen erreicht werden kann, und sie weist auf tiefergehende architektonische Eingriffe als zuverlässigeren Weg nach vorn hin.