Chair Segments: A Compact Benchmark for the Study of Object Segmentation

Краткое изложение пресс-релиза

Исследователи из University of Virginia и сотрудничающих институтов выпустили новый набор данных под названием Chair Segments, призванный дать учёным в области компьютерного зрения более быстрый и дешёвый способ тестирования алгоритмов сегментации изображений. Основная проблема, которую они выявили, заключается в том, что существующие наборы данных для сегментации — такие как COCO или PASCAL VOC — большие, дорогие в аннотировании и вынуждают модели одновременно справляться с распознаванием объектов, локализацией и попиксельным маскированием, что затрудняет изоляцию и быстрое итерирование идей, специфичных для сегментации. Чтобы обойти это, команда построила полусинтетический набор данных из примерно 900 изображений стульев с прозрачным фоном, скомпонованных на 10 000 разнообразных изображений сцен в помещении и на улице, произведя 50 000 обучающих композитов с попиксельно точными эталонными масками, которые не требовали ручного аннотирования. Исследователи выбрали стулья намеренно: эта категория общеизвестно сложна для сегментации из-за тонких, полых и самозаслоняющихся частей, и она входит в число самых сложных в существующих бенчмарках. Их эксперименты показали, что модель U-Net можно обучить до полной сходимости на этом наборе данных примерно за 30 минут на одном GPU при разрешении 64×64 — примерно уровень сложности CIFAR-10 для классификации — при этом по-прежнему значимо различая более сильные и более слабые архитектуры. Важно, что модели, предобученные на Chair Segments и затем дообученные на несвязанном наборе данных Object Discovery (охватывающем автомобили, лошадей и самолёты), превзошли все ранее опубликованные методы на этом бенчмарке, что говорит о том, что полусинтетические данные улавливают действительно полезные реальные признаки. Команда также подтвердила, впервые в сегментации, паттерн, ранее наблюдавшийся в классификации изображений: модели, дообученные из одних и тех же предобученных весов, группируются вместе в ландшафте оптимизации и плавно переходят одна в другую, тогда как модели, обученные из случайной инициализации, — нет, и это находка с практическими последствиями для того, как могли бы инициализироваться и ансамблироваться модели сегментации.