Where and Who? Automatic Semantic-Aware Person Composition

Resumo do comunicado de imprensa

Pesquisadores da University of Virginia construíram um sistema capaz de inserir automaticamente uma figura humana de aparência realista em uma fotografia, sem qualquer orientação humana sobre onde colocá-la ou quem usar. A maioria das ferramentas de composição de fotos existentes lida com o trabalho técnico de mesclar bordas e combinar cores, mas ainda deixa a cargo do usuário escolher um sujeito de primeiro plano, decidir onde posicioná-lo e definir seu tamanho. O novo sistema enfrenta essas decisões de julgamento computacionalmente, treinando uma rede neural convolucional ramificada com dezenas de milhares de imagens anotadas do conjunto de dados MS-COCO, ensinando-a a prever localizações e tamanhos plausíveis para uma pessoa dado apenas o cenário de fundo. Uma vez prevista uma caixa delimitadora, o sistema busca em um conjunto de cerca de 4.100 recortes de pessoas segmentados manualmente, usando atributos profundos de um modelo ResNet50 pré-treinado para combinar tanto o tipo geral da cena quanto o entorno local imediato antes de mesclar a figura escolhida por meio de alpha matting. Em um estudo de usuários por crowdsourcing no Amazon Mechanical Turk, juízes humanos avaliaram as composições do sistema como reais cerca de 44 por cento das vezes, em comparação com aproximadamente 18 a 28 por cento para três abordagens de referência, embora fotografias reais ainda tivessem pontuação em torno de 90 por cento. A diferença se estreita consideravelmente quando textura e iluminação são removidas, sugerindo que incompatibilidades de cor e iluminação — e não a colocação ou a seleção da figura — são o principal obstáculo remanescente. Os pesquisadores afirmam que o trabalho representa um passo inicial em direção a ferramentas que poderiam auxiliar designers gráficos, cineastas e artistas de storyboard, que atualmente gastam um tempo considerável montando manualmente cenas desse tipo.