Feedback-prop: Convolutional Neural Network Inference under Partial Evidence

Resumo do comunicado de imprensa

Pesquisadores da University of Virginia e da CyberAgent desenvolveram uma técnica que permite que redes neurais existentes de reconhecimento de imagens façam melhores previsões quando algumas informações sobre uma foto já são conhecidas antecipadamente. O método, chamado feedback-prop, aborda uma lacuna entre a forma como sistemas de visão computacional são tipicamente testados — usando apenas entrada visual — e a forma como costumam ser usados na prática, em que texto adjacente, dados de GPS, tags de usuário ou outras pistas contextuais frequentemente estão disponíveis. Em vez de retreinar uma rede para incorporar essa informação extra, os pesquisadores descobriram que poderiam, em vez disso, realimentar rótulos conhecidos através de uma rede treinada durante a própria etapa de inferência, ajustando as ativações internas da rede até que as previsões para os rótulos desconhecidos restantes melhorassem. Eles testaram duas variantes da abordagem — uma que atualiza camadas sequencialmente e outra que injeta pequenas variáveis corretivas em múltiplas camadas simultaneamente — em diversas tarefas, incluindo identificar objetos em imagens quando alguns rótulos já são conhecidos, prever categorias de cena de granularidade fina quando categorias gerais são fornecidas e gerar legendas de imagens quando anotações de objetos estão disponíveis. Em todas as tarefas e em múltiplas arquiteturas de rede padrão, incluindo VGG-16 e ResNet, adicionar evidência parcial melhorou consistentemente a precisão, com ganhos relativos variando de aproximadamente 10 a 13 por cento, dependendo da tarefa. Notavelmente, a técnica não requer alterações no treinamento do modelo original e funciona com uma combinação arbitrária de rótulos conhecidos e desconhecidos, tornando-a amplamente prática para cenários de implantação no mundo real, em que imagens raramente chegam sem qualquer contexto acompanhante.