ㅁ 대표 기법

ㅇ 정의:
준지도 학습에서 레이블이 부족한 데이터를 활용하기 위해 사용하는 방법으로, 학생-교사 모델을 활용하여 데이터를 증폭하고 노이즈를 추가해 학습 성능을 개선하는 기법.

ㅇ 특징:
– 교사 모델과 학생 모델의 반복적인 학습 구조를 가짐.
– 노이즈 추가를 통해 모델의 일반화 성능을 향상시킴.
– 레이블이 없는 데이터와 레이블이 있는 데이터를 모두 활용 가능.

ㅇ 적합한 경우:
– 레이블된 데이터가 적고, 비레이블 데이터가 많은 경우.
– 모델의 일반화 성능을 높이고자 할 때.

ㅇ 시험 함정:
– 노이즈 추가가 모델 성능에 미치는 영향을 과소평가하거나 과대평가하는 경우.
– 학생 모델이 교사 모델보다 항상 성능이 좋아야 한다고 오해할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
1. Noisy Student는 준지도 학습 기법으로, 레이블이 없는 데이터를 활용하지 않는다. (X)
2. 교사 모델이 학생 모델을 학습시키는 과정에서 노이즈를 추가한다. (O)
3. Noisy Student는 레이블이 없는 데이터가 많을수록 효과적이다. (O)

ㅁ 추가 학습 내용

Noisy Student 기법의 주요 구성 요소인 ‘노이즈 추가’는 학습 데이터의 다양성을 보장하고 모델의 일반화 성능을 높이는 데 중요한 역할을 합니다. 이 기법에서 노이즈는 다양한 형태로 추가될 수 있는데, 대표적으로 입력 데이터에 대한 데이터 증강, 모델의 예측값에 대한 샘플링 노이즈, 그리고 학습 과정에서 dropout과 같은 정규화 기법을 활용한 노이즈 등이 있습니다. 이러한 노이즈는 모델이 다양한 데이터 분포와 변화를 학습하도록 유도하며, 과적합을 방지하고 새로운 데이터에 대한 일반화 능력을 강화합니다.

특히, 입력 데이터에 노이즈를 추가하면 모델이 더 강건해지며, 다양한 상황에서 안정적으로 예측을 수행할 수 있는 능력이 향상됩니다. 또한, 학습 과정에서 노이즈를 추가하면 모델이 단순히 정답을 암기하는 것이 아니라, 데이터의 본질적인 패턴을 학습하도록 도와줍니다. 이는 모델이 실제 환경에서의 변동성과 불확실성에 대해 더 잘 대응할 수 있도록 만들어 줍니다.

Noisy Student 기법은 다른 준지도 학습 기법과 비교했을 때 몇 가지 차별화된 특징을 가지고 있습니다. 일반적인 준지도 학습 기법은 레이블이 있는 데이터와 없는 데이터를 결합하여 학습하는 방식으로 작동하며, 종종 레이블이 없는 데이터에 대한 활용이 제한적일 수 있습니다. 그러나 Noisy Student 기법은 레이블이 없는 데이터를 활용하는 과정에서 학생 모델과 교사 모델 간의 상호작용을 통해 학습을 강화합니다. 교사 모델이 레이블이 없는 데이터에 대해 예측을 수행하고, 학생 모델은 이 예측값을 학습하는데, 이 과정에서 노이즈를 추가하여 모델의 학습을 더욱 다양화하고 강건하게 만듭니다.

또한, Noisy Student 기법은 단순히 레이블이 없는 데이터를 보조적으로 활용하는 것에 그치지 않고, 레이블이 없는 데이터에서도 강력한 성능 향상을 이루어냅니다. 이는 교사 모델의 예측값을 활용하여 학생 모델이 더 나은 표현을 학습하도록 유도하는 과정에서 노이즈가 효과적으로 작용하기 때문입니다. 이러한 점에서 Noisy Student 기법은 기존의 준지도 학습 기법과 비교하여 데이터의 다양성과 모델의 일반화 성능을 더욱 강화하는 독특한 접근법을 제공합니다.