Text2Scene: Generating Compositional Scenes from Textual Descriptions

Sintesi del comunicato stampa

I ricercatori della University of Virginia e del Thomas J. Watson Research Center di IBM hanno sviluppato un sistema chiamato Text2Scene in grado di generare automaticamente scene visive a partire da descrizioni scritte — senza affidarsi alle Generative Adversarial Networks, o GAN, da cui dipende la maggior parte degli approcci concorrenti. Anziché cercare di sintetizzare un'intera immagine in una sola volta, il sistema funziona più come un illustratore attento, leggendo una frase e poi posizionando gli oggetti uno alla volta su una tela bianca, decidendo a ogni passo cosa aggiungere dopo, dove collocarlo e che aspetto debba avere. Il modello utilizza meccanismi di attenzione per concentrarsi su diverse parti del testo in input mentre costruisce la scena, così quando una descrizione dice "Jenny is running towards Mike", il sistema riesce a capire che l'orientamento di Jenny dipende da dove si trova già Mike. Il team ha testato il proprio approccio su tre compiti piuttosto diversi — generare scene di clip-art a fumetti, prevedere mappe realistiche di disposizione degli oggetti e assemblare fotografie composite a partire da frammenti di immagini recuperati — utilizzando lo stesso framework di base con sole lievi modifiche per ciascuno. Nei confronti diretti, Text2Scene ha eguagliato o battuto i rivali basati su GAN sulla maggior parte delle metriche automatiche di qualità e li ha superati tutti, incluso il robusto modello AttnGAN, quando valutatori umani hanno giudicato quali immagini corrispondessero meglio alle loro didascalie. Il lavoro è degno di nota sia perché aggira il processo di addestramento delle GAN, notoriamente capriccioso, sia perché produce output interpretabili, passo dopo passo, che rendono più facile capire perché il modello abbia compiuto le scelte che ha compiuto — una qualità di cui i sistemi di generazione puramente basati sui pixel generalmente difettano.