ㅁ 대표 기법

1. MixMatch

ㅇ 정의:
– 소량의 라벨 데이터와 대량의 비라벨 데이터를 혼합하여 학습하는 준지도 학습 기법.
– 데이터 증강, 예측 라벨 부드럽게 하기(soft labeling), 라벨/비라벨 데이터 혼합(batch mixup) 등을 결합한 방법.

ㅇ 특징:
– 라벨이 없는 데이터에 대해 모델의 예측을 평균내고 샤프닝(sharpening)하여 의사 라벨 생성.
– 라벨 데이터와 의사 라벨 데이터 모두에 대해 MixUp 기법을 적용해 일반화 성능 향상.
– 데이터 증강을 적극적으로 사용하여 모델의 불확실성을 줄임.

ㅇ 적합한 경우:
– 라벨 데이터가 극히 적고 비라벨 데이터가 풍부한 경우.
– 이미지 분류, 텍스트 분류 등 다양한 도메인에서 소량 라벨 환경.

ㅇ 시험 함정:
– MixMatch는 단순한 데이터 증강 기법이 아니라, 의사 라벨 생성과 MixUp을 결합한 준지도 학습 프레임워크임.
– Sharpening과 Soft Labeling의 차이를 혼동하기 쉬움.
– MixUp은 라벨 데이터에만 적용된다고 착각하는 경우가 많음(라벨+비라벨 모두 적용).

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “MixMatch는 라벨과 비라벨 데이터를 모두 활용하여 데이터 증강과 MixUp을 결합한 준지도 학습 기법이다.”
– X: “MixMatch는 라벨 데이터에만 MixUp을 적용하는 지도 학습 기법이다.”
– O: “MixMatch는 비라벨 데이터에 대해 모델 예측을 평균내고 샤프닝하여 의사 라벨을 만든다.”
– X: “MixMatch는 비라벨 데이터에 대해 무작위 라벨을 부여한다.”

ㅁ 추가 학습 내용

MixMatch의 핵심 구성 요소는 다음과 같다.
(1) 데이터 증강: 입력 데이터를 다양한 방식으로 변형하여 모델의 일반화 성능을 높인다.
(2) 예측 평균 및 샤프닝: 동일한 데이터의 여러 증강 버전에 대한 모델 예측을 평균 내고, 이를 샤프닝하여 soft label을 더 날카롭게 만들어 모델이 보다 확신 있는 예측을 하도록 유도한다.
(3) MixUp: 두 샘플(라벨이 있는 경우와 없는 경우 모두 포함)을 선형 결합하여 새로운 학습 샘플을 생성하는 기법으로, 과적합을 방지하고 일반화 능력을 향상시킨다.

Sharpening은 soft label의 확률 분포를 더 극단적으로 만들어, 높은 확률을 가진 클래스는 더 높게, 낮은 확률을 가진 클래스는 더 낮게 조정함으로써 모델이 확신을 가지도록 한다.

MixMatch는 학습 초기에 노이즈가 많은 의사 라벨의 영향을 줄이기 위해 의사 라벨을 부드럽게 처리하고, 학습이 진행됨에 따라 샤프닝 강도를 점차 높이는 전략과 함께 사용되기도 한다.

시험에서는 MixMatch, FixMatch, Mean Teacher 등의 차이를 비교하는 문제가 자주 출제될 수 있다.