Curriculum Labeling: Revisiting Pseudo-Labeling for Semi-Supervised Learning

보도 자료 요약

버지니아 대학교의 연구진은 더 새로운 접근법에 밀려 대체로 버려졌던, 의사 레이블링이라 불리는 수십 년 된 머신러닝 기법에 새 생명을 불어넣는 방법을 발견하였다. 준지도 학습의 핵심 과제는 학습 데이터의 작은 일부만 사람이 할당한 레이블을 갖고 나머지는 레이블되지 않은 채로 남는 상황을 최대한 활용하는 것인데, 이는 컴퓨터 비전에서 흔하고 비용이 많이 드는 문제이다. Curriculum Labeling이라 불리는 연구팀의 방법은 먼저 작은 레이블된 데이터셋으로 모델을 학습시킨 다음, 모델이 가장 확신하는 예측만으로 시작하여 여러 라운드에 걸쳐 더 어렵고 덜 확실한 예시를 천천히 통합하면서 레이블되지 않은 이미지에 단계적으로 예측 레이블을 할당함으로써 작동한다. 두 가지 구체적인 설계 선택이 결정적인 것으로 입증되었다. 고정된 수작업 임계값에 의존하는 대신 각 단계에서 어떤 레이블되지 않은 샘플을 포함할지 결정하기 위해 극단값 이론(Extreme Value Theory)에서 도출한 임계값을 사용하는 것, 그리고 각 새로운 학습 라운드 전에 단순히 계속 파인튜닝하는 대신 모델의 파라미터를 완전히 재설정하는 것이다. 후자는 모델이 시간이 지남에 따라 자신의 초기 실수를 강화하는 것을 방지한다. 표준 이미지 분류 벤치마크에서 테스트한 결과, 이 접근법은 단 4,000개의 레이블된 이미지를 사용하여 CIFAR-10에서 94.91%의 정확도에 도달하였고, 레이블된 데이터의 10%만 사용하여 ImageNet에서 선도적인 경쟁 방법의 성능에 필적하였다. 연구진은 또한 이 방법이 레이블되지 않은 데이터가 레이블된 집합에 없는 범주의 이미지를 포함할 때, 즉 학술 평가에서 일반적으로 사용되는 깨끗한 분할보다 더 현실적인 시나리오에서, 대부분의 대안보다 더 잘 견딘다는 것을 보였다. 이 연구는 자기 학습 접근법이 본질적으로 결함이 있었던 것이 아니라 단지 더 신중한 구현이 필요했을 뿐임을 시사한다.