Fairness and Bias Mitigation in Computer Vision: A Survey
Resumen de prensa
Un equipo de investigadores de la Universidad Estatal de Míchigan, la Universidad Rice y UC San Diego ha publicado un estudio exhaustivo que examina cómo el sesgo y la falta de equidad se manifiestan en los sistemas de visión por computador y qué ha hecho el campo al respecto. El problema central es sencillo: cuando los modelos de IA entrenados con datos de imágenes del mundo real aprenden a reconocer rostros, describir escenas o detectar objetos, pueden rendir notablemente peor para ciertos grupos demográficos; por ejemplo, uno de los sistemas de reconocimiento facial que citan los autores tenía una tasa de error del 0,7 % en rostros de piel más clara, pero una tasa de error del 12,9 % en los de piel más oscura. Los investigadores catalogaron los orígenes de estas disparidades, rastreándolas tanto hasta los conjuntos de datos utilizados para el entrenamiento, que a menudo reflejan sesgos sociales existentes o fueron recopilados principalmente en ciertas regiones geográficas, como hasta las decisiones de diseño de los propios modelos, que pueden amplificar esos sesgos más allá de lo que ya estaba presente en los datos. El estudio traza los principales enfoques técnicos que los investigadores han desarrollado para contrarrestarlo, incluyendo métodos de entrenamiento adversarial que intentan eliminar atributos sensibles como el género o la raza de las representaciones aprendidas, técnicas de reequilibrio de datos que generan o reponderan ejemplos para nivelar el terreno de juego, y marcos matemáticos que caracterizan el compromiso fundamental entre la precisión de un modelo y su equidad. Los autores también señalan que los modelos fundacionales generativos y multimodales más recientes, como CLIP y los sistemas de texto a imagen, arrastran estos mismos problemas a la vez que introducen otros nuevos, y que todavía no existe una definición matemática rigurosa de equidad para los modelos generativos, lo que apunta a una brecha significativa que el campo aún necesita cerrar.
resumen
Los sistemas de visión por computador han experimentado un rápido progreso durante las dos últimas décadas gracias a múltiples avances en el campo. A medida que estos sistemas se despliegan cada vez más en aplicaciones del mundo real de alto riesgo, existe una necesidad imperiosa de garantizar que no propaguen ni amplifiquen ninguna tendencia discriminatoria presente en datos históricos o curados por humanos, ni que aprendan inadvertidamente sesgos a partir de correlaciones espurias. Este artículo presenta un estudio exhaustivo sobre la equidad que resume y arroja luz sobre las tendencias y los logros actuales en el contexto de la visión por computador. Los temas que abordamos incluyen 1) El origen y las definiciones técnicas de equidad extraídas de la literatura más amplia sobre aprendizaje automático justo y disciplinas adyacentes. 2) Trabajos que buscaron descubrir y analizar sesgos en los sistemas de visión por computador. 3) Un resumen de los métodos propuestos para mitigar el sesgo en los sistemas de visión por computador en los últimos años. 4) Un resumen exhaustivo de los recursos y conjuntos de datos producidos por investigadores para medir, analizar y mitigar el sesgo y mejorar la equidad. 5) Una discusión sobre los éxitos del campo, las tendencias actuales en el contexto de los modelos fundacionales multimodales y generativos, y las brechas que aún deben abordarse. La caracterización presentada debería ayudar a los investigadores a comprender la importancia de identificar y mitigar el sesgo en la visión por computador y el estado del campo, así como a identificar posibles direcciones para la investigación futura.
detalles
cita
@article{dehdashtian2024fairness,
title = {Fairness and Bias Mitigation in Computer Vision: A Survey},
author = {Dehdashtian, Sepehr and He, Ruozhen and Li, Yi and Balakrishnan, Guha and Vasconcelos, Nuno and Ordonez, Vicente and Boddeti, Vishnu Naresh},
year = {2024},
journal = {arXiv preprint arXiv:2408.02464},
url = {https://arxiv.org/abs/2408.02464},
}