ㅁ 학습 곡선 최적화 기법

ㅇ 정의:
– 모델 학습 과정에서 손실과 정확도의 변화를 분석하여 학습 효율을 높이고 일반화 성능을 향상시키는 방법.

ㅇ 특징:
– 학습 곡선을 기반으로 조기 종료, 정규화, 하이퍼파라미터 조정 등을 수행.
– 훈련 데이터와 검증 데이터의 성능 차이를 통해 과적합/과소적합을 판단.

ㅇ 적합한 경우:
– 모델 성능이 일정 시점 이후 개선되지 않거나 오히려 악화되는 경우.
– 데이터가 제한적이거나 모델이 복잡한 경우.

ㅇ 시험 함정:
– 학습 곡선이 완만하다고 무조건 좋은 것은 아님.
– 검증 성능이 일시적으로 하락해도 장기적으로 상승할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “훈련 정확도는 상승하나 검증 정확도는 하락하면 과적합 가능성이 높다.”
– X: “훈련과 검증 정확도가 모두 상승하면 항상 과적합이다.”

================================

1. 과적합 진단

ㅇ 정의:
– 모델이 훈련 데이터에 너무 특화되어 새로운 데이터에 대한 성능이 떨어지는 현상을 식별하는 과정.

ㅇ 특징:
– 훈련 정확도는 높으나 검증 정확도가 낮음.
– 학습 곡선에서 훈련/검증 성능 차이가 점점 벌어짐.

ㅇ 적합한 경우:
– 모델 복잡도가 데이터 복잡도보다 높은 경우.
– 데이터 양이 적거나 노이즈가 많은 경우.

ㅇ 시험 함정:
– 검증 데이터 성능이 낮은 것이 항상 과적합은 아님(데이터 품질 문제 가능).

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “훈련 정확도 99%, 검증 정확도 70% → 과적합 가능성 높음”
– X: “훈련 정확도와 검증 정확도가 모두 낮으면 과적합이다.”

================================

2. Batch Norm 효과

ㅇ 정의:
– 각 미니배치 단위로 입력 데이터를 정규화하여 학습 안정성과 속도를 높이는 기법.

ㅇ 특징:
– 내부 공변량 변화(Internal Covariate Shift) 완화.
– 학습률을 높여도 안정적 학습 가능.
– 약간의 정규화 효과로 과적합 감소.

ㅇ 적합한 경우:
– 깊은 신경망에서 학습이 불안정하거나 느린 경우.
– 입력 데이터 분포 변화가 큰 경우.

ㅇ 시험 함정:
– Dropout과 함께 사용할 때 순서에 따라 효과가 다를 수 있음.
– 배치 크기가 너무 작으면 통계량 추정이 부정확.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Batch Norm은 학습 속도를 높이고 과적합을 줄이는 데 도움을 줄 수 있다.”
– X: “Batch Norm은 항상 과적합을 없앤다.”

================================

3. Dropout 및 L2 사용법

ㅇ 정의:
– Dropout: 학습 시 무작위로 일부 뉴런을 비활성화하여 과적합을 방지하는 기법.
– L2 정규화: 가중치의 제곱합에 패널티를 부여하여 가중치 크기를 제한하는 기법.

ㅇ 특징:
– Dropout: 모델의 앙상블 효과 유사, 학습 시만 적용.
– L2: 파라미터 크기 제한, 과적합 완화.

ㅇ 적합한 경우:
– Dropout: 데이터 양이 적고 모델이 복잡한 경우.
– L2: 모든 회귀/분류 모델에서 기본적으로 적용 가능.

ㅇ 시험 함정:
– Dropout 비율이 너무 높으면 학습이 안 될 수 있음.
– L2는 과적합 완화에 도움은 되지만 데이터 품질 문제는 해결 못함.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Dropout은 학습 시 무작위로 뉴런을 끄는 방식으로 일반화 성능을 향상시킨다.”
– X: “L2 정규화는 가중치를 0으로 만든다.”

ㅁ 추가 학습 내용

조기 종료(Early Stopping): 검증 손실이 일정 횟수 이상 개선되지 않으면 학습을 중단하는 방법으로, 과적합 방지에 매우 효과적이며 시험에 자주 출제된다.

데이터 증강(Data Augmentation): 이미지, 텍스트, 음성 등 각 도메인에서 데이터의 다양성을 인위적으로 높여 모델의 일반화 성능을 향상시키는 기법이다.

학습률 스케줄링(Learning Rate Scheduling): 학습이 진행됨에 따라 학습률을 점진적으로 감소시키거나 조정하여 과적합을 방지하고 수렴 속도를 향상시키는 방법이다.

K-Fold 교차검증: 데이터가 적을 때 학습과 검증 데이터 분할을 여러 번 반복하여 모델의 일반화 성능을 안정적으로 평가하는 방법이다.

Batch Norm 대안: Layer Normalization, Group Normalization 등 배치 크기의 제약이 없는 정규화 기법이 있으며, 시험에서 Batch Normalization과의 비교 문제로 출제될 수 있다.