General Multi-label Image Classification with Transformers

Sintesi del comunicato stampa

I ricercatori della University of Virginia hanno sviluppato un nuovo sistema di deep learning, chiamato Classification Transformer (C-Tran), che migliora la capacità di un computer di identificare più oggetti o concetti contemporaneamente all'interno di una singola immagine — un compito noto come classificazione di immagini multi-etichetta. A differenza della maggior parte degli approcci esistenti, che trattano ciascuna previsione di etichetta in gran parte in isolamento o si affidano a grafi di conoscenza predefiniti per cogliere le relazioni tra le etichette, C-Tran fornisce congiuntamente sia le caratteristiche dell'immagine sia le informazioni sulle etichette a un encoder Transformer, lo stesso tipo di architettura che ha guidato i recenti progressi nell'elaborazione del linguaggio naturale. L'innovazione chiave è una procedura di addestramento chiamata Label Mask Training, in cui il modello impara a prevedere etichette nascoste in modo casuale data una conoscenza parziale delle altre, in modo molto simile agli esercizi di completamento utilizzati per addestrare modelli linguistici come BERT. Questo approccio insegna al sistema a capire come le etichette si relazionano tra loro — per esempio, che una forchetta e un coltello tendono a comparire insieme — senza bisogno di regole costruite a mano. Oltre alla classificazione standard, C-Tran può anche accettare informazioni parziali sulle etichette in fase di inferenza, il che significa che un utente può comunicare al modello che certe etichette sono sicuramente presenti o assenti e ricevere previsioni più accurate per le rimanenti incognite. Il sistema ha ottenuto risultati allo stato dell'arte su dataset di riferimento come Microsoft COCO e Visual Genome, e ha inoltre superato i metodi concorrenti quando testato con etichette parzialmente note o supplementari su quattro dataset. Il significato pratico è che le immagini del mondo reale spesso si accompagnano a metadati incompleti o contestuali — come tag di posizione o didascalie — e C-Tran è il primo modello progettato per sfruttare in modo flessibile questo tipo di evidenza parziale all'interno di un unico framework unificato.