ㅁ 대표 기법

ㅇ 정의:
– Consistency Training은 동일한 입력 데이터에 대해 다양한 변형(augmentation)이나 노이즈를 적용하더라도 모델의 예측이 일관되게 유지되도록 학습하는 준지도 학습 기법이다.

ㅇ 특징:
– 라벨이 없는 데이터에도 적용 가능하여 데이터 효율성을 높인다.
– 입력 변형(회전, 색상 변화, 가우시안 노이즈 등)에 강인한 모델을 만든다.
– 데이터 증강과 결합하여 일반화 성능을 향상시킨다.
– Teacher-Student 구조나 Mean Teacher, FixMatch 등의 알고리즘에서 사용된다.

ㅇ 적합한 경우:
– 라벨링 비용이 높아 라벨이 적고 비라벨 데이터가 많은 경우.
– 이미지, 음성, 텍스트 등 다양한 데이터에 적용 가능.
– 환경 변화나 센서 노이즈에 강인한 모델이 필요한 경우.

ㅇ 시험 함정:
– Consistency Training은 반드시 라벨 데이터만 사용하는 것으로 오해할 수 있음(X).
– 데이터 증강 없이도 충분히 성능 향상이 가능하다고 단정하는 경우(X), 증강이 핵심 요소임.
– 준지도 학습의 모든 방법이 Consistency Training을 포함한다고 생각하는 경우(X).

ㅇ 시험 대비 “패턴 보기” 예시:
– “Consistency Training은 동일 데이터의 변형된 버전에도 예측이 일관되도록 학습하는 기법이다.” (O)
– “Consistency Training은 데이터 증강 없이도 동일한 효과를 낼 수 있다.” (X)
– “라벨이 없는 데이터에도 적용 가능하다.” (O)
– “준지도 학습의 모든 기법은 Consistency Training을 사용한다.” (X)

ㅁ 추가 학습 내용

Consistency Training 정리

1. 대표 알고리즘
– Mean Teacher
– Π-model
– Temporal Ensembling
– FixMatch

2. 수학적 개념
– 입력 x와 증강된 입력 aug(x)에 대해 모델 출력 f(x)와 f(aug(x))의 차이를 최소화하는 consistency loss 사용
– 주로 KL divergence 또는 MSE를 손실 함수로 활용

3. 데이터 증강의 중요성
– 강한 증강(strong augmentation)과 약한 증강(weak augmentation)을 함께 사용하면 성능 향상에 기여

4. 한계점
– 잘못된 pseudo-label이 일관되게 학습되면 오히려 성능이 저하될 수 있음

5. 다른 준지도 학습 기법과의 비교
– Pseudo-labeling: 라벨 예측 후 신뢰도가 높은 샘플만 학습에 사용
– Consistency Training: 모든 비라벨 데이터에 대해 일관성 손실을 적용