General Multi-label Image Classification with Transformers

Resumo do comunicado de imprensa

Pesquisadores da University of Virginia desenvolveram um novo sistema de aprendizado profundo, chamado Classification Transformer (C-Tran), que aprimora a capacidade de um computador de identificar simultaneamente múltiplos objetos ou conceitos dentro de uma única imagem — uma tarefa conhecida como classificação de imagens com múltiplos rótulos. Diferentemente da maioria das abordagens existentes, que tratam cada previsão de rótulo em grande parte isoladamente ou dependem de grafos de conhecimento predefinidos para capturar relações entre rótulos, o C-Tran alimenta um codificador Transformer conjuntamente com características da imagem e informações de rótulos, o mesmo tipo de arquitetura que impulsionou avanços recentes no processamento de linguagem natural. A principal inovação é um procedimento de treinamento chamado Label Mask Training, no qual o modelo aprende a prever rótulos ocultados aleatoriamente a partir do conhecimento parcial dos demais, de forma muito semelhante aos exercícios de preencher lacunas usados para treinar modelos de linguagem como o BERT. Essa abordagem ensina o sistema a entender como os rótulos se relacionam entre si — por exemplo, que um garfo e uma faca tendem a aparecer juntos — sem a necessidade de regras feitas manualmente. Além da classificação padrão, o C-Tran também pode aceitar informações parciais de rótulos no momento da inferência, o que significa que um usuário pode informar ao modelo que certos rótulos estão definitivamente presentes ou ausentes e receber previsões mais precisas para os demais desconhecidos. O sistema alcançou resultados de ponta em conjuntos de dados de referência, incluindo o Microsoft COCO e o Visual Genome, e também superou métodos concorrentes quando testado com rótulos parcialmente conhecidos ou suplementares em quatro conjuntos de dados. A relevância prática é que imagens do mundo real frequentemente vêm com metadados incompletos ou contextuais — como marcações de localização ou legendas — e o C-Tran é o primeiro modelo projetado para explorar de forma flexível esse tipo de evidência parcial dentro de um único framework unificado.