ㅁ 학습 곡선

ㅇ 정의:
– 모델의 학습 정도(훈련 데이터 성능)와 일반화 성능(검증/테스트 데이터 성능)을 시각적으로 나타낸 그래프. 주로 학습 데이터 크기나 학습 반복(epoch)에 따른 성능 변화를 표시.

ㅇ 특징:
– 훈련 데이터와 검증 데이터의 오차나 정확도 차이를 통해 모델의 과적합, 과소적합 여부를 판단.
– 학습 초기에는 두 곡선이 모두 향상되다가, 과적합이 발생하면 훈련 성능은 계속 좋아지지만 검증 성능은 저하.

ㅇ 적합한 경우:
– 모델이 충분히 학습되었는지, 더 많은 데이터나 규제가 필요한지 판단할 때.

ㅇ 시험 함정:
– 학습 곡선에서 두 곡선이 벌어지는 현상이 항상 과적합은 아님. 데이터 분포 차이, 측정 지표 차이 등 다른 원인 가능.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “훈련 정확도는 상승하나 검증 정확도는 하락 → 과적합 가능성”
– X: “훈련 정확도와 검증 정확도가 모두 낮음 → 과적합”

================================

1. Overfitting

ㅇ 정의:
– 모델이 훈련 데이터의 패턴뿐 아니라 노이즈까지 학습하여 새로운 데이터(검증/테스트)에서 성능이 저하되는 현상.

ㅇ 특징:
– 훈련 데이터 성능은 매우 높으나, 검증/테스트 데이터 성능은 낮음.
– 복잡한 모델 구조, 파라미터 과다, 훈련 데이터 부족 시 발생 가능.

ㅇ 적합한 경우:
– Overfitting 자체는 바람직하지 않음. 단, 연구 목적상 훈련 데이터 완벽 학습이 필요한 경우 제한적으로 허용.

ㅇ 시험 함정:
– 훈련 데이터 성능이 높다는 이유만으로 모델이 우수하다고 판단하는 것은 오류.
– Overfitting과 High Variance를 동일 개념으로 혼동.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “훈련 정확도 99%, 검증 정확도 70% → 과적합 가능성 높음”
– X: “훈련 정확도 70%, 검증 정확도 68% → 과적합”

ㅁ 추가 학습 내용

Overfitting 방지 기법은 모델의 일반화 성능을 높이기 위해 필수적으로 학습해야 한다. 대표적인 방법으로는 정규화(Regularization: L1, L2), Dropout, 데이터 증강(Data Augmentation), 조기 종료(Early Stopping), 교차 검증(Cross Validation)이 있다.
Bias-Variance Tradeoff 개념을 이해하면 과적합(overfitting)과 과소적합(underfitting)을 구분하는 데 도움이 된다.
시험에서는 학습 곡선(훈련/검증 손실 또는 정확도)의 변화를 보고 원인을 추론하는 문제가 자주 나온다. 따라서 epoch 증가에 따른 훈련 곡선과 검증 곡선의 전형적인 패턴을 암기하는 것이 중요하다.