Feedback-prop: Convolutional Neural Network Inference under Partial Evidence
Краткое изложение пресс-релиза
Исследователи из University of Virginia и CyberAgent разработали технику, которая позволяет существующим нейронным сетям распознавания изображений делать более точные предсказания, когда некоторая информация о фотографии уже известна заранее. Метод, называемый feedback-prop, устраняет разрыв между тем, как системы компьютерного зрения обычно тестируются — используя только визуальный вход, — и тем, как они часто используются на практике, где нередко доступны сопутствующий текст, GPS-данные, пользовательские теги или другие контекстные подсказки. Вместо того чтобы переобучать сеть для включения этой дополнительной информации, исследователи обнаружили, что вместо этого могут подавать известные метки обратно через обученную сеть во время самого шага инференса, корректируя внутренние активации сети до тех пор, пока предсказания для остальных неизвестных меток не улучшатся. Они протестировали два варианта подхода — один, который обновляет слои последовательно, и один, который внедряет небольшие корректирующие переменные на нескольких слоях одновременно — на нескольких задачах, включая идентификацию объектов на изображениях, когда некоторые метки уже известны, предсказание мелкозернистых категорий сцен при заданных грубых категориях и генерацию подписей к изображениям при наличии аннотаций объектов. Во всех задачах и нескольких стандартных сетевых архитектурах, включая VGG-16 и ResNet, добавление частичных сведений стабильно повышало точность с относительным приростом примерно от 10 до 13 процентов в зависимости от задачи. Примечательно, что техника не требует изменений в обучении исходной модели и работает с произвольной смесью известных и неизвестных меток, что делает её широко применимой на практике для реальных сценариев развёртывания, где изображения редко поступают без какого-либо сопутствующего контекста.
аннотация
Мы предлагаем процедуру инференса для глубоких свёрточных нейронных сетей (convolutional neural networks, CNNs), когда доступны частичные сведения. Наш метод состоит из общего подхода распространения на основе обратной связи (feedback-prop), который повышает точность предсказания для произвольного набора неизвестных целевых меток, когда известны значения для непересекающегося произвольного набора целевых меток. Мы показываем, что существующие модели, обученные в постановке с несколькими метками (multi-label) или несколькими задачами (multi-task), могут с готовностью воспользоваться feedback-prop без какого-либо переобучения или дообучения. Наша процедура инференса feedback-prop является общей, простой, надёжной и работает на различных сложных задачах визуального распознавания. Мы представляем два варианта feedback-prop на основе послойных и остаточных итеративных обновлений. Мы экспериментируем с несколькими multi-task моделями и показываем, что feedback-prop эффективен во всех из них. Наши результаты раскрывают ранее не описанное, но интересное динамическое свойство глубоких CNN. Мы также представляем сопутствующий технический подход, который использует это свойство для инференса при частичных сведениях в общих задачах визуального распознавания.
подробности
цитирование
@inproceedings{wang2018feedback,
title = {Feedback-prop: Convolutional Neural Network Inference under Partial Evidence},
author = {Wang, Tianlu and Yamaguchi, Kota and Ordonez, Vicente},
year = {2018},
booktitle = {Conference on Computer Vision and Pattern Recognition. CVPR 2018},
url = {https://arxiv.org/abs/1710.08049},
}