Balanced Datasets Are Not Enough: Estimating and Mitigating Gender Bias in Deep Image Representations

Sintesi del comunicato stampa

I ricercatori della University of Virginia, della UCLA e dell'Allen Institute for Artificial Intelligence hanno scoperto che il semplice bilanciamento dei dataset di addestramento non basta a impedire ai sistemi di riconoscimento di immagini dell'IA di amplificare gli stereotipi di genere. Il team ha studiato modelli addestrati su due dataset ampiamente utilizzati — COCO, che etichetta oggetti di uso quotidiano, e imSitu, che etichetta azioni umane — e ha riscontrato che, anche quando ribilanciava artificialmente i dati in modo che uomini e donne comparissero con la stessa frequenza accanto a ciascuna etichetta di categoria, i modelli addestrati continuavano ad apprendere ad associare il genere a quelle categorie a tassi gonfiati all'incirca uguali a quelli dei modelli addestrati sui dati originali distorti. Per misurare questo problema con maggiore precisione, i ricercatori hanno sviluppato due nuove metriche che chiamano "dataset leakage" e "model leakage", che quantificano con quanta accuratezza un osservatore esterno potrebbe indovinare il genere di una persona in un'immagine semplicemente osservando quali etichette un modello le assegna; il divario tra queste due misure cattura quanta informazione di genere aggiuntiva il modello stia introducendo nelle proprie previsioni oltre a quanto contenuto nei dati stessi. La loro spiegazione del perché il bilanciamento fallisca è diretta: i dataset contengono innumerevoli indizi visivi non etichettati — come la presenza di bambini, gli stili di abbigliamento o la postura del corpo — che correlano con il genere e non possono essere neutralizzati regolando soltanto il conteggio delle etichette. Per ridurre effettivamente il pregiudizio, il team ha addestrato i modelli con una componente avversaria che penalizza attivamente la rete per la codifica di caratteristiche predittive del genere nei suoi strati intermedi, ottenendo una riduzione dell'amplificazione del pregiudizio dal 53 al 67 percento sacrificando solo circa uno o due punti percentuali di accuratezza nella classificazione. Il lavoro è un monito per chiunque presuma che l'equità demografica nell'IA possa essere raggiunta tramite la sola cura dei dataset, e indica negli interventi architetturali più profondi una via più affidabile da percorrere.