Fairness and Bias Mitigation in Computer Vision: A Survey
Sintesi del comunicato stampa
Un team di ricercatori della Michigan State University, della Rice University e della UC San Diego ha pubblicato una rassegna completa che esamina come pregiudizio e iniquità si manifestino nei sistemi di computer vision e cosa il campo abbia fatto al riguardo. Il problema centrale è semplice: quando i modelli di IA addestrati su dati di immagini del mondo reale imparano a riconoscere volti, descrivere scene o rilevare oggetti, possono comportarsi notevolmente peggio per determinati gruppi demografici — ad esempio, un sistema di riconoscimento facciale citato dagli autori aveva un tasso di errore dello 0,7% su volti dalla pelle più chiara ma del 12,9% su quelli dalla pelle più scura. I ricercatori hanno catalogato le origini di queste disparità, facendole risalire sia ai dataset utilizzati per l'addestramento, che spesso riflettono pregiudizi sociali esistenti o sono stati raccolti principalmente in determinate regioni geografiche, sia alle scelte di progettazione dei modelli stessi, che possono amplificare quei pregiudizi oltre quanto già presente nei dati. La rassegna delinea i principali approcci tecnici che i ricercatori hanno sviluppato per contrastarli, tra cui metodi di addestramento avversariale che cercano di rimuovere attributi sensibili come il genere o l'etnia dalle rappresentazioni apprese, tecniche di riequilibrio dei dati che generano o ripesano gli esempi per livellare il campo di gioco, e framework matematici che caratterizzano il compromesso fondamentale tra l'accuratezza di un modello e la sua equità. Gli autori segnalano inoltre che i più recenti modelli generativi e foundation model multimodali come CLIP e i sistemi text-to-image trascinano con sé questi stessi problemi introducendone di nuovi, e che non esiste ancora una rigorosa definizione matematica di equità per i modelli generativi — indicando una lacuna significativa che il campo deve ancora colmare.
abstract
I sistemi di computer vision hanno conosciuto rapidi progressi negli ultimi due decenni grazie a molteplici avanzamenti nel campo. Man mano che questi sistemi vengono sempre più impiegati in applicazioni reali ad alto rischio, vi è un'impellente necessità di garantire che non propaghino o amplifichino eventuali tendenze discriminatorie presenti in dati storici o curati dall'uomo, né apprendano inavvertitamente pregiudizi da correlazioni spurie. Questo articolo presenta una rassegna completa sull'equità che riassume e fa luce sulle tendenze e i successi in corso nel contesto della computer vision. Gli argomenti che trattiamo includono 1) l'origine e le definizioni tecniche di equità tratte dalla più ampia letteratura sul fair machine learning e dalle discipline adiacenti; 2) i lavori che hanno cercato di scoprire e analizzare i pregiudizi nei sistemi di computer vision; 3) una sintesi dei metodi proposti negli ultimi anni per mitigare i pregiudizi nei sistemi di computer vision; 4) una sintesi completa delle risorse e dei dataset prodotti dai ricercatori per misurare, analizzare e mitigare i pregiudizi e migliorare l'equità; 5) una discussione sui successi del campo, sulle tendenze in atto nel contesto dei foundation model multimodali e dei modelli generativi, e sulle lacune che restano ancora da affrontare. La caratterizzazione presentata dovrebbe aiutare i ricercatori a comprendere l'importanza di identificare e mitigare i pregiudizi nella computer vision e lo stato del campo, e a individuare potenziali direzioni per la ricerca futura.
dettagli
citazione
@article{dehdashtian2024fairness,
title = {Fairness and Bias Mitigation in Computer Vision: A Survey},
author = {Dehdashtian, Sepehr and He, Ruozhen and Li, Yi and Balakrishnan, Guha and Vasconcelos, Nuno and Ordonez, Vicente and Boddeti, Vishnu Naresh},
year = {2024},
journal = {arXiv preprint arXiv:2408.02464},
url = {https://arxiv.org/abs/2408.02464},
}