Curriculum Labeling: Revisiting Pseudo-Labeling for Semi-Supervised Learning

Resumen de prensa

Investigadores de la Universidad de Virginia han encontrado una forma de dar nueva vida a una técnica de aprendizaje automático de décadas de antigüedad llamada pseudoetiquetado, que había sido en gran medida abandonada en favor de enfoques más nuevos. El reto central del aprendizaje semisupervisado consiste en aprovechar al máximo situaciones en las que solo una pequeña fracción de los datos de entrenamiento lleva etiquetas asignadas por humanos, mientras que el resto permanece sin etiquetar, un problema común y costoso en la visión por computadora. El método del equipo, llamado Curriculum Labeling, funciona entrenando primero un modelo con el pequeño conjunto de datos etiquetado y luego asignando gradualmente etiquetas predichas a las imágenes no etiquetadas por etapas, comenzando solo con las predicciones sobre las que el modelo tiene más confianza e incorporando lentamente ejemplos más difíciles y menos seguros en rondas sucesivas. Dos decisiones de diseño concretas resultaron críticas: usar un umbral derivado de la teoría de valores extremos para determinar qué muestras no etiquetadas incluir en cada etapa, en lugar de basarse en cortes fijos ajustados a mano, y reiniciar por completo los parámetros del modelo antes de cada nueva ronda de entrenamiento en lugar de simplemente continuar afinándolo, un paso que evita que el modelo refuerce sus propios errores tempranos con el tiempo. Probado en benchmarks estándar de clasificación de imágenes, el enfoque alcanzó un 94,91 % de precisión en CIFAR-10 usando solo 4.000 imágenes etiquetadas e igualó el rendimiento de los principales métodos competidores en ImageNet usando solo el 10 % de los datos etiquetados. Los investigadores también mostraron que el método se mantiene mejor que la mayoría de las alternativas cuando los datos no etiquetados contienen imágenes de categorías ausentes en el conjunto etiquetado, un escenario más realista que las particiones limpias que suelen usarse en las evaluaciones académicas. El trabajo sugiere que los enfoques de autoentrenamiento no eran intrínsecamente defectuosos, sino que simplemente necesitaban una implementación más cuidadosa.