Curriculum Labeling: Revisiting Pseudo-Labeling for Semi-Supervised Learning
Краткое изложение пресс-релиза
Исследователи из University of Virginia нашли способ вдохнуть новую жизнь в десятилетиями известную технику машинного обучения под названием псевдоразметка, которая была в значительной степени заброшена в пользу более новых подходов. Основная задача в полу-обучении с учителем состоит в том, чтобы максимально использовать ситуации, когда лишь небольшая доля обучающих данных несёт назначенные человеком метки, в то время как остальное остаётся неразмеченным — распространённая и дорогостоящая проблема в компьютерном зрении. Метод команды под названием Curriculum Labeling работает, сначала обучая модель на небольшом размеченном наборе данных, а затем постепенно присваивая предсказанные метки неразмеченным изображениям поэтапно, начиная только с тех предсказаний, в которых модель наиболее уверена, и медленно включая более сложные, менее определённые примеры в течение последовательных раундов. Два конкретных архитектурных решения оказались критически важными: использование порога, выведенного из теории экстремальных значений (Extreme Value Theory), для определения того, какие неразмеченные образцы включать на каждом этапе, вместо опоры на фиксированные настроенные вручную отсечки, и полный сброс параметров модели перед каждым новым раундом обучения, а не простое продолжение её дообучения — шаг, который не позволяет модели усиливать собственные ранние ошибки со временем. Протестированный на стандартных бенчмарках классификации изображений, подход достиг точности 94.91% на CIFAR-10, используя лишь 4 000 размеченных изображений, и сравнялся с производительностью ведущих конкурирующих методов на ImageNet, используя лишь 10% размеченных данных. Исследователи также показали, что метод держится лучше большинства альтернатив, когда неразмеченные данные содержат изображения из категорий, отсутствующих в размеченном наборе — более реалистичный сценарий, чем чистые разбиения, обычно используемые в академических оценках. Работа предполагает, что подходы самообучения не были изначально ущербными, а просто нуждались в более тщательной реализации.
аннотация
В этой статье мы пересматриваем идею псевдоразметки в контексте полу-обучения с учителем, где обучающий алгоритм имеет доступ к небольшому набору размеченных образцов и большому набору неразмеченных образцов. Псевдоразметка работает путём применения псевдометок к образцам в неразмеченном наборе с использованием модели, обученной на комбинации размеченных образцов и любых ранее псевдоразмеченных образцов, и итеративного повторения этого процесса в цикле самообучения. Современные методы, по-видимому, отказались от этого подхода в пользу методов регуляризации согласованности, которые обучают модели под комбинацией различных стилей самообучающих потерь на неразмеченных образцах и стандартных потерь с учителем на размеченных образцах. Мы эмпирически демонстрируем, что псевдоразметка на самом деле может быть конкурентоспособной с современным уровнем, при этом будучи более устойчивой к образцам вне распределения в неразмеченном наборе. Мы выявляем два ключевых фактора, которые позволяют псевдоразметке достигать таких замечательных результатов: (1) применение принципов Curriculum Learning и (2) избегание дрейфа концептов путём перезапуска параметров модели перед каждым циклом самообучения. Мы получаем точность 94.91% на CIFAR-10, используя лишь 4 000 размеченных образцов, и 68.87% top-1 точности на Imagenet-ILSVRC, используя лишь 10% размеченных образцов. Код доступен по адресу https://github.com/uvavision/Curriculum-Labeling
подробности
цитирование
@inproceedings{cascantebonilla2021curriculum,
title = {Curriculum Labeling: Revisiting Pseudo-Labeling for Semi-Supervised Learning},
author = {Cascante-Bonilla, Paola and Tan, Fuwen and Qi, Yanjun and Ordonez, Vicente},
year = {2021},
booktitle = {The Thirty-Fifth AAAI Conference on Artificial Intelligence. AAAI 2021},
url = {https://arxiv.org/abs/2001.06001},
}