ㅁ 학습 곡선

ㅇ 정의:
모델의 학습 정도를 시각적으로 표현한 그래프로, 훈련 데이터와 검증 데이터의 성능 변화를 학습 반복(epoch)에 따라 나타낸 것.

ㅇ 특징:
– 훈련 데이터와 검증 데이터의 오차 또는 정확도를 함께 표시.
– 모델의 학습 상태(과소적합, 과적합, 적정 학습)를 직관적으로 파악 가능.
– 학습 데이터 양, 모델 복잡도, 하이퍼파라미터 조정에 따른 변화를 비교 가능.

ㅇ 적합한 경우:
– 모델 학습 상태를 진단하고 조기 종료(Early Stopping) 시점 판단.
– 과소적합/과적합 구간 식별.

ㅇ 시험 함정:
– 학습 곡선이 항상 부드럽게 감소한다고 단정하는 것.
– 검증 데이터의 성능이 일시적으로 변동하는 경우를 무시.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “훈련 오차와 검증 오차의 추이를 통해 과적합 여부를 판단할 수 있다.”
X: “훈련 오차와 검증 오차는 항상 같은 패턴을 그린다.”

================================

1. Underfitting

ㅇ 정의:
모델이 데이터의 패턴을 충분히 학습하지 못해 훈련 데이터와 검증 데이터 모두에서 성능이 낮은 상태.

ㅇ 특징:
– 훈련 오차와 검증 오차 모두 높음.
– 학습 곡선에서 두 곡선이 모두 높은 오차 수준에서 평행하게 유지.
– 원인: 모델 복잡도가 낮음, 학습 데이터 부족, 학습 시간 부족 등.

ㅇ 적합한 경우:
– 단순한 문제에서 불필요하게 복잡한 모델을 피하려는 경우(단, 대부분 개선 필요).

ㅇ 시험 함정:
– Underfitting을 과적합(Overfitting)과 혼동.
– 훈련 데이터 성능이 높으면 Underfitting이 아니라고 단정.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Underfitting은 훈련 데이터와 검증 데이터 모두에서 낮은 정확도를 보인다.”
X: “Underfitting은 검증 데이터에서만 성능이 낮다.”

ㅁ 추가 학습 내용

Underfitting 방지 방법으로는 모델 복잡도를 높이는 것이 있다. 예를 들어 더 많은 파라미터를 사용하거나, 딥러닝에서는 레이어를 추가하는 방법이 있다. 학습 시간을 늘려 충분히 학습시키는 것도 효과적이다. 특징 엔지니어링을 강화하여 입력 데이터의 표현력을 높이고, 데이터 증강(Data Augmentation)을 통해 학습 데이터 양과 다양성을 확보하는 것도 도움이 된다.

시험 대비를 위해 Underfitting과 Overfitting의 학습 곡선 형태를 비교할 수 있어야 한다. Underfitting은 훈련 오차와 검증 오차 모두가 높고, 학습이 진행되어도 큰 개선이 없는 형태를 보인다. Overfitting은 훈련 오차는 매우 낮지만 검증 오차가 높아지는 형태를 보인다.

또한 Early Stopping, Regularization(L1/L2)와 같은 기법은 주로 Overfitting 방지에 사용되지만, 적용 시 학습을 제한하거나 가중치 크기를 억제하여 Underfitting을 악화시킬 가능성이 있다는 점을 숙지해야 한다.