Curriculum Labeling: Revisiting Pseudo-Labeling for Semi-Supervised Learning
Resumo do comunicado de imprensa
Pesquisadores da University of Virginia encontraram uma maneira de dar novo fôlego a uma técnica de aprendizado de máquina de décadas atrás chamada pseudo-rotulagem, que havia sido em grande parte abandonada em favor de abordagens mais recentes. O desafio central no aprendizado semissupervisionado é aproveitar ao máximo situações em que apenas uma pequena fração dos dados de treinamento possui rótulos atribuídos por humanos, enquanto o restante permanece sem rótulos — um problema comum e caro na visão computacional. O método da equipe, chamado Curriculum Labeling, funciona treinando primeiro um modelo no pequeno conjunto de dados rotulado e, em seguida, atribuindo gradualmente rótulos previstos a imagens não rotuladas em etapas, começando apenas pelas previsões em que o modelo tem mais confiança e incorporando lentamente exemplos mais difíceis e menos certos ao longo de rodadas sucessivas. Duas escolhas específicas de projeto se mostraram cruciais: usar um limiar derivado da Teoria dos Valores Extremos para determinar quais amostras não rotuladas incluir em cada etapa, em vez de depender de cortes fixos ajustados manualmente, e reiniciar completamente os parâmetros do modelo antes de cada nova rodada de treinamento, em vez de simplesmente continuar a ajustá-lo — uma medida que impede o modelo de reforçar seus próprios erros iniciais ao longo do tempo. Testada em benchmarks padrão de classificação de imagens, a abordagem alcançou 94,91% de acurácia no CIFAR-10 usando apenas 4.000 imagens rotuladas e igualou o desempenho dos principais métodos concorrentes no ImageNet usando apenas 10% dos dados rotulados. Os pesquisadores também mostraram que o método se sai melhor do que a maioria das alternativas quando os dados não rotulados contêm imagens de categorias ausentes no conjunto rotulado, um cenário mais realista do que as divisões limpas tipicamente usadas em avaliações acadêmicas. O trabalho sugere que as abordagens de autotreinamento não eram intrinsecamente falhas, mas simplesmente precisavam de uma implementação mais cuidadosa.
resumo
Neste artigo, revisitamos a ideia de pseudo-rotulagem no contexto do aprendizado semissupervisionado, em que um algoritmo de aprendizado tem acesso a um pequeno conjunto de amostras rotuladas e a um grande conjunto de amostras não rotuladas. A pseudo-rotulagem funciona aplicando pseudo-rótulos às amostras do conjunto não rotulado usando um modelo treinado na combinação das amostras rotuladas com quaisquer amostras previamente pseudo-rotuladas, e repetindo iterativamente esse processo em um ciclo de autotreinamento. Os métodos atuais parecem ter abandonado essa abordagem em favor de métodos de regularização por consistência que treinam modelos sob uma combinação de diferentes estilos de perdas auto-supervisionadas nas amostras não rotuladas e perdas supervisionadas padrão nas amostras rotuladas. Demonstramos empiricamente que a pseudo-rotulagem pode, de fato, ser competitiva com o estado da arte, ao mesmo tempo em que é mais resistente a amostras fora da distribuição no conjunto não rotulado. Identificamos dois fatores-chave que permitem à pseudo-rotulagem alcançar resultados tão notáveis: (1) aplicar princípios de aprendizado por currículo e (2) evitar a deriva de conceito reiniciando os parâmetros do modelo antes de cada ciclo de autotreinamento. Obtemos 94,91% de acurácia no CIFAR-10 usando apenas 4.000 amostras rotuladas e 68,87% de acurácia top-1 no Imagenet-ILSVRC usando apenas 10% das amostras rotuladas. O código está disponível em https://github.com/uvavision/Curriculum-Labeling
detalhes
citação
@inproceedings{cascantebonilla2021curriculum,
title = {Curriculum Labeling: Revisiting Pseudo-Labeling for Semi-Supervised Learning},
author = {Cascante-Bonilla, Paola and Tan, Fuwen and Qi, Yanjun and Ordonez, Vicente},
year = {2021},
booktitle = {The Thirty-Fifth AAAI Conference on Artificial Intelligence. AAAI 2021},
url = {https://arxiv.org/abs/2001.06001},
}