Curriculum Labeling: Revisiting Pseudo-Labeling for Semi-Supervised Learning

プレスリリース要約

バージニア大学の研究者らは、擬似ラベル付けと呼ばれる数十年前から存在する機械学習手法に新たな命を吹き込む方法を見出した。この手法は、より新しいアプローチに取って代わられ、ほぼ放棄されていた。半教師あり学習における中心的な課題は、訓練データのごく一部のみが人手で付与されたラベルを持ち、残りがラベルなしのままであるという状況を最大限に活用することであり、これはコンピュータビジョンにおいてよくある、かつコストのかかる問題である。Curriculum Labelingと呼ばれるこのチームの手法は、まず少数のラベル付きデータセットでモデルを訓練し、次に段階的にラベルなし画像に予測ラベルを付与していくことで機能する。最初はモデルが最も自信を持っている予測のみから始め、後続のラウンドで徐々により困難で不確実な事例を取り込んでいく。2つの具体的な設計上の選択が決定的に重要であることが判明した。1つは、固定された手調整のしきい値に頼るのではなく、極値理論から導かれるしきい値を用いて各段階でどのラベルなしサンプルを取り込むかを決定すること、もう1つは、単にファインチューニングを続けるのではなく、各新しい訓練ラウンドの前にモデルのパラメータを完全にリセットすることであり、これはモデルが時間とともに自らの初期の誤りを強化してしまうのを防ぐステップである。標準的な画像分類ベンチマークでテストしたところ、このアプローチはわずか4,000枚のラベル付き画像を用いてCIFAR-10で94.91%の精度に到達し、ラベル付きデータのわずか10%を用いてImageNetで主要な競合手法の性能に匹敵した。研究者らはまた、ラベル付き集合に存在しないカテゴリの画像がラベルなしデータに含まれる場合、つまり学術的評価で通常用いられるきれいな分割よりも現実的なシナリオにおいて、この手法がほとんどの代替手法よりもよく持ちこたえることも示した。この研究は、自己訓練アプローチが本質的に欠陥を抱えていたのではなく、単により慎重な実装を必要としていただけであることを示唆している。