Commonly Uncommon: Semantic Sparsity in Situation Recognition

Sintesi del comunicato stampa

I ricercatori della University of Washington e dell'Allen Institute for Artificial Intelligence hanno affrontato un problema ostinato nella visione artificiale: quando i sistemi di IA cercano di descrivere ciò che accade in una foto con un dettaglio strutturato — identificando non solo un'attività come "trasportare", ma anche chi trasporta, cosa trasporta e dove — tendono a crollare ogni volta che la scena coinvolge una combinazione insolita di oggetti e ruoli. Il gruppo ha riscontrato che nel dataset di benchmark imSitu circa il 35 percento delle previsioni richieste riguarda abbinamenti oggetto-ruolo osservati meno di dieci volte durante l'addestramento, e che i modelli esistenti perdono un'accuratezza significativa proprio in questi casi. Per affrontare il problema, i ricercatori hanno sviluppato due tecniche complementari. In primo luogo, hanno progettato un nuovo modello matematico chiamato potenziale tensoriale composizionale, integrato all'interno di un framework di Conditional Random Field, che apprende rappresentazioni condivise dei sostantivi tra i diversi ruoli — così che la conoscenza dell'aspetto di un "bambino", ad esempio, possa informare le previsioni indipendentemente dal fatto che il bambino compaia come oggetto trasportato o come persona che effettua il trasporto. In secondo luogo, hanno costruito una pipeline di arricchimento semantico dei dati che converte le situazioni di addestramento annotate in brevi frasi testuali, le utilizza per recuperare circa cinque milioni di immagini dalla ricerca immagini di Google e incorpora i risultati rumorosi tramite addestramento a verosimiglianza marginale e self-training iterativo. La combinazione di entrambi gli approcci ha migliorato l'accuratezza top-5 sui verbi di circa il 6 percento e quella sui ruoli-sostantivo di quasi il 10 percento rispetto al precedente stato dell'arte, con guadagni relativi ancora maggiori sui casi rari specificamente presi di mira dal lavoro. I risultati sono importanti perché la sparsità semantica — troppe combinazioni di output possibili, troppo pochi esempi della maggior parte di esse — è un ostacolo diffuso nei compiti di comprensione visiva strutturata, e questo lavoro offre una strategia concreta e scalabile per rendere i sistemi di IA più affidabili di fronte alle situazioni non comuni che, nella pratica, sono piuttosto comuni nel mondo reale.