Curriculum Labeling: Revisiting Pseudo-Labeling for Semi-Supervised Learning
Zusammenfassung der Pressemitteilung
Forscher der University of Virginia haben einen Weg gefunden, einer jahrzehntealten Technik des maschinellen Lernens namens Pseudo-Labeling, die zugunsten neuerer Ansätze weitgehend aufgegeben worden war, neues Leben einzuhauchen. Die zentrale Herausforderung beim halbüberwachten Lernen besteht darin, das Beste aus Situationen herauszuholen, in denen nur ein kleiner Bruchteil der Trainingsdaten von Menschen zugewiesene Labels trägt, während der Rest ungelabelt bleibt — ein häufiges und kostspieliges Problem im maschinellen Sehen. Die Methode des Teams, genannt Curriculum Labeling, funktioniert, indem zunächst ein Modell auf dem kleinen gelabelten Datensatz trainiert wird und dann ungelabelten Bildern schrittweise vorhergesagte Labels zugewiesen werden, wobei nur mit den Vorhersagen begonnen wird, bei denen sich das Modell am sichersten ist, und über aufeinanderfolgende Runden hinweg langsam schwierigere, weniger sichere Beispiele einbezogen werden. Zwei konkrete Designentscheidungen erwiesen sich als entscheidend: die Verwendung eines aus der Extremwerttheorie abgeleiteten Schwellenwerts, um zu bestimmen, welche ungelabelten Beispiele in jeder Phase einbezogen werden, anstatt sich auf feste, von Hand abgestimmte Grenzwerte zu verlassen, und das vollständige Zurücksetzen der Parameter des Modells vor jeder neuen Trainingsrunde, anstatt es einfach weiter zu verfeinern — ein Schritt, der verhindert, dass das Modell seine eigenen frühen Fehler im Laufe der Zeit verstärkt. Getestet auf Standard-Benchmarks zur Bildklassifikation erreichte der Ansatz eine Genauigkeit von 94,91% auf CIFAR-10 unter Verwendung von nur 4.000 gelabelten Bildern und erreichte die Leistung führender konkurrierender Methoden auf ImageNet unter Verwendung von nur 10% der gelabelten Daten. Die Forscher zeigten außerdem, dass die Methode besser standhält als die meisten Alternativen, wenn die ungelabelten Daten Bilder aus Kategorien enthalten, die in der gelabelten Menge nicht vorhanden sind, ein realistischeres Szenario als die sauberen Aufteilungen, die in akademischen Evaluierungen üblicherweise verwendet werden. Die Arbeit legt nahe, dass Selbsttrainingsansätze nicht von Natur aus fehlerhaft waren, sondern lediglich eine sorgfältigere Umsetzung erforderten.
Zusammenfassung
In dieser Arbeit greifen wir die Idee des Pseudo-Labelings im Kontext des halbüberwachten Lernens erneut auf, bei dem ein Lernalgorithmus Zugriff auf eine kleine Menge gelabelter Beispiele und eine große Menge ungelabelter Beispiele hat. Pseudo-Labeling funktioniert, indem es Beispielen in der ungelabelten Menge Pseudo-Labels zuweist, wobei ein Modell verwendet wird, das auf der Kombination der gelabelten Beispiele und etwaiger zuvor pseudo-gelabelter Beispiele trainiert wurde, und diesen Prozess in einem Selbsttrainingszyklus iterativ wiederholt. Aktuelle Methoden scheinen diesen Ansatz zugunsten von Konsistenz-Regularisierungsmethoden aufgegeben zu haben, die Modelle unter einer Kombination verschiedener Arten selbstüberwachter Verlustfunktionen auf den ungelabelten Beispielen und standardmäßiger überwachter Verlustfunktionen auf den gelabelten Beispielen trainieren. Wir zeigen empirisch, dass Pseudo-Labeling tatsächlich mit dem Stand der Technik konkurrieren kann und dabei widerstandsfähiger gegenüber Out-of-Distribution-Beispielen in der ungelabelten Menge ist. Wir identifizieren zwei Schlüsselfaktoren, die es Pseudo-Labeling ermöglichen, derart bemerkenswerte Ergebnisse zu erzielen: (1) die Anwendung von Curriculum-Learning-Prinzipien und (2) die Vermeidung von Concept Drift durch das Zurücksetzen der Modellparameter vor jedem Selbsttrainingszyklus. Wir erreichen eine Genauigkeit von 94.91% auf CIFAR-10 unter Verwendung von nur 4.000 gelabelten Beispielen sowie eine Top-1-Genauigkeit von 68.87% auf Imagenet-ILSVRC unter Verwendung von nur 10% der gelabelten Beispiele. Der Code ist verfügbar unter https://github.com/uvavision/Curriculum-Labeling
Details
Zitation
@inproceedings{cascantebonilla2021curriculum,
title = {Curriculum Labeling: Revisiting Pseudo-Labeling for Semi-Supervised Learning},
author = {Cascante-Bonilla, Paola and Tan, Fuwen and Qi, Yanjun and Ordonez, Vicente},
year = {2021},
booktitle = {The Thirty-Fifth AAAI Conference on Artificial Intelligence. AAAI 2021},
url = {https://arxiv.org/abs/2001.06001},
}