ㅁ 대표 기법

ㅇ 정의:
준지도 학습에서 널리 사용되는 주요 알고리즘 기법들을 의미하며, 소량의 라벨 데이터와 대량의 비라벨 데이터를 결합하여 모델 성능을 향상시키는 방법들이다.

ㅇ 특징:
라벨이 없는 데이터에 대해 모델이 예측한 결과를 활용하거나, 데이터 변형에 따른 일관성을 유지하는 방식 등 다양한 전략을 사용한다.

ㅇ 적합한 경우:
라벨 데이터 수집이 어렵거나 비용이 높은 경우, 비라벨 데이터가 풍부한 상황에서 성능 향상을 목표로 할 때.

ㅇ 시험 함정:
각 기법의 목적과 작동 원리를 혼동하거나, 지도학습·비지도학습과의 경계 구분을 놓칠 수 있다.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “비라벨 데이터에 모델이 부여한 가짜 라벨을 활용하는 준지도 학습 기법은? → Pseudo Labeling”
X: “라벨 데이터만 사용하여 학습하는 방법은 준지도 학습에 속한다.”

================================

1. Pseudo Labeling

ㅇ 정의:
라벨이 없는 데이터에 대해 현재 모델이 예측한 결과를 임시 라벨로 부여하여 학습에 활용하는 기법.

ㅇ 특징:
간단하고 구현이 용이하며, 초기 모델 품질이 낮으면 잘못된 라벨이 누적될 수 있다.

ㅇ 적합한 경우:
초기 모델이 어느 정도 신뢰할 수 있는 예측을 하는 경우, 비라벨 데이터가 많을 때.

ㅇ 시험 함정:
가짜 라벨이 항상 성능을 향상시키는 것은 아니라는 점을 간과.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “모델이 스스로 생성한 라벨을 사용하여 학습하는 준지도 기법은? → Pseudo Labeling”
X: “Pseudo Labeling은 데이터 증강을 필수적으로 포함한다.”

================================

2. Consistency Training

ㅇ 정의:
동일한 입력 데이터에 다양한 변형(노이즈, 증강 등)을 가했을 때 모델의 출력이 일관되도록 학습시키는 기법.

ㅇ 특징:
데이터 변형에 강인한 모델을 만들 수 있으며, 라벨이 없는 데이터에도 적용 가능.

ㅇ 적합한 경우:
입력 변형에 강인함이 필요한 경우, 다양한 증강 기법을 적용할 수 있는 환경.

ㅇ 시험 함정:
출력 일관성을 유지하는 것이 항상 좋은 성능을 보장하는 것은 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “입력 데이터 변형에도 예측이 변하지 않도록 학습하는 준지도 방법은? → Consistency Training”
X: “Consistency Training은 반드시 라벨 데이터만을 사용한다.”

================================

3. MixMatch

ㅇ 정의:
라벨 데이터와 비라벨 데이터를 혼합하여 데이터 증강, 예측 일관성, 샤프닝 등을 결합한 준지도 학습 기법.

ㅇ 특징:
여러 준지도 아이디어를 통합하여 높은 성능을 보이며, 구현이 다소 복잡하다.

ㅇ 적합한 경우:
다양한 데이터 증강과 혼합 전략을 적용할 수 있는 경우.

ㅇ 시험 함정:
MixMatch가 단일 기법이 아닌 여러 기법의 조합이라는 점을 놓치기 쉬움.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “라벨/비라벨 데이터를 혼합하고 샤프닝을 적용하는 준지도 기법은? → MixMatch”
X: “MixMatch는 Consistency Training과 무관하다.”

================================

4. Noisy Student

ㅇ 정의:
대규모 비라벨 데이터에 대해 교사 모델이 생성한 라벨을 사용하여 학생 모델을 학습시키고, 학생 모델을 다시 교사 모델로 활용하는 반복적 준지도 학습 기법.

ㅇ 특징:
모델 크기를 점진적으로 키우며 성능을 향상시키고, 노이즈를 주입하여 일반화 성능을 높인다.

ㅇ 적합한 경우:
대규모 비라벨 데이터와 충분한 연산 자원이 있는 경우.

ㅇ 시험 함정:
‘Noisy’가 데이터 노이즈가 아니라 학습 과정에서의 노이즈 주입을 의미한다는 점을 혼동.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “교사-학생 구조로 반복 학습하며 노이즈를 주입하는 준지도 기법은? → Noisy Student”
X: “Noisy Student는 한 번의 학습으로만 이루어진다.”

ㅁ 추가 학습 내용

[준지도 학습 주요 기법 비교 정리]

1. Pseudo Labeling
– 장점: 구현이 단순하고 직관적임
– 단점: 초기 모델 품질이 낮으면 오라클 오류 전파 가능성 높음
– 핵심 아이디어: 라벨 없는 데이터에 대해 현재 모델의 예측을 라벨로 사용하여 재학습
– 적용 사례: 이미지 분류, 텍스트 분류 등

2. Consistency Training
– 장점: 데이터 변형(증강)에 대한 강인성 향상
– 단점: 증강 방법 설계가 성능에 큰 영향
– 핵심 아이디어: 동일 데이터의 변형된 버전에서도 예측이 일관되도록 학습
– 적용 사례: 컴퓨터 비전에서 데이터 증강 기반 준지도 학습

3. MixMatch
– 장점: 데이터 증강, 예측 샤프닝, 라벨 혼합을 결합하여 성능 향상
– 단점: 구현 복잡도 높음
– 핵심 아이디어: 여러 증강 버전의 평균 예측을 샤프닝하고, 라벨 혼합으로 지도·비지도 데이터 결합
– 적용 사례: 이미지 분류 대회, 소규모 라벨 데이터 환경

4. Noisy Student
– 장점: 대규모 비라벨 데이터 활용 가능, 반복 학습으로 성능 향상
– 단점: 연산 자원 소모 큼, 대규모 데이터 필요
– 핵심 아이디어: Teacher 모델이 생성한 라벨로 Student 모델 학습 후, Student를 Teacher로 교체하며 반복
– 적용 사례: 이미지넷 분류, 대규모 비라벨 데이터 환경

[준지도 학습 평가 지표]
– Accuracy: 전체 예측 중 정답 비율
– F1-score: 정밀도와 재현율의 조화 평균, 불균형 데이터셋에 유리

[비라벨 데이터 활용 시 주의사항]
– 라벨 오염: 잘못된 예측 라벨이 학습에 사용될 경우 성능 저하
– 데이터 편향: 비라벨 데이터 분포가 실제 테스트 데이터와 다를 경우 일반화 성능 저하

[시험 대비 체크리스트]
– 각 기법의 핵심 아이디어를 한 문장으로 설명할 수 있는가?
– 각 기법의 장점과 단점을 구분하여 말할 수 있는가?
– 각 기법의 적용 사례를 알고 있는가?
– 준지도 학습에서 사용하는 주요 평가 지표(Accuracy, F1-score)의 정의와 특징을 설명할 수 있는가?
– 비라벨 데이터 활용 시 발생할 수 있는 문제점(라벨 오염, 데이터 편향)을 설명할 수 있는가?
– 실제 논문 또는 사례를 기법별로 하나 이상 기억하고 있는가?