General Multi-label Image Classification with Transformers

Resumen de prensa

Investigadores de la Universidad de Virginia han desarrollado un nuevo sistema de aprendizaje profundo, llamado Classification Transformer (C-Tran), que mejora la capacidad de una computadora para identificar simultáneamente múltiples objetos o conceptos dentro de una sola imagen, una tarea conocida como clasificación de imágenes con múltiples etiquetas. A diferencia de la mayoría de los enfoques existentes, que tratan cada predicción de etiqueta en gran medida de forma aislada o dependen de grafos de conocimiento predefinidos para capturar las relaciones entre etiquetas, C-Tran introduce conjuntamente tanto las características de la imagen como la información de las etiquetas en un codificador Transformer, el mismo tipo de arquitectura que ha impulsado los avances recientes en el procesamiento del lenguaje natural. La innovación clave es un procedimiento de entrenamiento llamado Label Mask Training, en el que el modelo aprende a predecir etiquetas ocultas aleatoriamente dado un conocimiento parcial de las demás, de forma muy parecida a los ejercicios de completar espacios en blanco usados para entrenar modelos de lenguaje como BERT. Este enfoque enseña al sistema a comprender cómo se relacionan las etiquetas entre sí —por ejemplo, que un tenedor y un cuchillo tienden a aparecer juntos— sin necesidad de reglas hechas a mano. Más allá de la clasificación estándar, C-Tran también puede aceptar información parcial de etiquetas en el momento de la inferencia, lo que significa que un usuario puede indicarle al modelo que ciertas etiquetas están definitivamente presentes o ausentes y recibir predicciones más precisas para las desconocidas restantes. El sistema logró resultados de vanguardia en conjuntos de datos de referencia como Microsoft COCO y Visual Genome, y también superó a los métodos competidores cuando se probó con etiquetas parcialmente conocidas o complementarias en cuatro conjuntos de datos. La importancia práctica es que las imágenes del mundo real a menudo vienen con metadatos incompletos o contextuales —como etiquetas de ubicación o pies de foto— y C-Tran es el primer modelo diseñado para explotar de forma flexible ese tipo de evidencia parcial dentro de un único marco unificado.