Feedback-prop: Convolutional Neural Network Inference under Partial Evidence
Resumen de prensa
Investigadores de la Universidad de Virginia y CyberAgent han desarrollado una técnica que permite a las redes neuronales de reconocimiento de imágenes existentes realizar mejores predicciones cuando ya se conoce de antemano cierta información sobre una foto. El método, llamado feedback-prop, aborda una brecha entre cómo se prueban habitualmente los sistemas de visión por computadora —usando solo entrada visual— y cómo se utilizan con frecuencia en la práctica, donde a menudo se dispone de texto circundante, datos de GPS, etiquetas de usuario u otras pistas contextuales. En lugar de reentrenar una red para incorporar esa información adicional, los investigadores descubrieron que podían, en cambio, retroalimentar las etiquetas conocidas a través de una red entrenada durante el propio paso de inferencia, ajustando las activaciones internas de la red hasta que mejoraran las predicciones de las etiquetas desconocidas restantes. Probaron dos variantes del enfoque —una que actualiza las capas secuencialmente y otra que inyecta pequeñas variables correctivas en múltiples capas simultáneamente— en varias tareas, incluyendo la identificación de objetos en imágenes cuando ya se conocen algunas etiquetas, la predicción de categorías de escenas de grano fino cuando se dan las categorías generales, y la generación de descripciones de imágenes cuando se dispone de anotaciones de objetos. En todas las tareas y en múltiples arquitecturas de red estándar, incluidas VGG-16 y ResNet, agregar evidencia parcial mejoró consistentemente la precisión, con ganancias relativas que oscilaron entre aproximadamente el 10 y el 13 por ciento según la tarea. Cabe destacar que la técnica no requiere cambios en el entrenamiento del modelo original y funciona con una combinación arbitraria de etiquetas conocidas y desconocidas, lo que la hace ampliamente práctica para escenarios de despliegue del mundo real donde las imágenes rara vez llegan sin algún contexto acompañante.
resumen
Proponemos un procedimiento de inferencia para redes neuronales convolucionales profundas (CNN) cuando se dispone de evidencia parcial. Nuestro método consiste en un enfoque general de propagación basado en retroalimentación (feedback-prop) que mejora la precisión de la predicción para un conjunto arbitrario de etiquetas objetivo desconocidas cuando se conocen los valores de un conjunto arbitrario y no superpuesto de etiquetas objetivo. Mostramos que los modelos existentes entrenados en un escenario multietiqueta o multitarea pueden aprovechar fácilmente feedback-prop sin ningún reentrenamiento o ajuste fino. Nuestro procedimiento de inferencia feedback-prop es general, simple, fiable y funciona en distintas tareas desafiantes de reconocimiento visual. Presentamos dos variantes de feedback-prop basadas en actualizaciones iterativas por capa y residuales. Experimentamos utilizando varios modelos multitarea y mostramos que feedback-prop es eficaz en todos ellos. Nuestros resultados revelan una propiedad dinámica interesante y previamente no reportada de las CNN profundas. También presentamos un enfoque técnico asociado que aprovecha esta propiedad para la inferencia con evidencia parcial en tareas generales de reconocimiento visual.
detalles
cita
@inproceedings{wang2018feedback,
title = {Feedback-prop: Convolutional Neural Network Inference under Partial Evidence},
author = {Wang, Tianlu and Yamaguchi, Kota and Ordonez, Vicente},
year = {2018},
booktitle = {Conference on Computer Vision and Pattern Recognition. CVPR 2018},
url = {https://arxiv.org/abs/1710.08049},
}