ㅁ 학습 곡선

ㅇ 정의:
기계학습 모델의 훈련 과정에서 에폭(epoch)에 따른 훈련 오차와 검증 오차의 변화를 시각적으로 나타낸 그래프를 의미하며, 과적합 여부를 판단하는 데 활용된다.

ㅇ 특징:
– 훈련 오차와 검증 오차의 간격이 벌어지면 과적합 가능성이 높음.
– 데이터 양, 모델 복잡도, 학습률 등에 따라 곡선 형태가 달라짐.
– 학습 종료 시점 결정, 하이퍼파라미터 튜닝에 유용.

ㅇ 적합한 경우:
– 모델의 학습 진행 상황을 모니터링할 때.
– 과적합 방지 시점을 찾고자 할 때.
– 학습률이나 정규화 강도를 조정할 근거를 마련할 때.

ㅇ 시험 함정:
– 훈련 오차가 줄어드는 것이 항상 좋은 것은 아님.
– 검증 오차가 증가하기 시작하면 과적합 신호일 수 있음.
– 학습 곡선이 평탄해졌다고 무조건 수렴했다고 단정할 수 없음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “검증 오차가 감소하다가 증가하는 시점은 과적합 발생 가능성이 높다.”
X: “훈련 오차가 줄어들면 항상 일반화 성능이 향상된다.”

================================

1. Early Stopping

ㅇ 정의:
모델 학습 중 검증 오차가 일정 횟수 이상 개선되지 않으면 더 이상 학습을 진행하지 않고 조기 종료하는 기법.

ㅇ 특징:
– 과적합 방지에 효과적.
– patience(인내심) 파라미터로 종료 시점 조정 가능.
– 학습 시간을 단축할 수 있음.
– 검증 데이터셋 품질에 민감.

ㅇ 적합한 경우:
– 학습 시간이 길고 과적합 위험이 높은 경우.
– 모델이 복잡하고 데이터셋이 제한적인 경우.
– 리소스 절약이 중요한 경우.

ㅇ 시험 함정:
– patience 값을 너무 작게 설정하면 충분히 학습하지 못할 수 있음.
– 검증 데이터가 대표성을 띠지 않으면 조기 종료 시점이 부정확해질 수 있음.
– Early Stopping은 항상 최적의 일반화 성능을 보장하지 않음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Early Stopping은 검증 오차가 개선되지 않을 때 학습을 중단하여 과적합을 방지한다.”
X: “Early Stopping은 훈련 오차가 증가할 때 학습을 중단한다.”

ㅁ 추가 학습 내용

Early Stopping과 함께 자주 출제되는 개념에는 검증 곡선(Validation Curve)과 학습률 스케줄링(Learning Rate Scheduling)이 있다.
검증 곡선은 하이퍼파라미터 변화에 따른 모델 성능 변화를 시각적으로 나타내며, Early Stopping과 함께 과적합 방지 전략으로 묶여 출제될 수 있다.

Early Stopping 적용 시에는 모델 가중치 저장 시점이 중요하다. 일반적으로 검증 성능이 최고일 때의 가중치를 저장하여 최종 모델로 사용한다.

시험에서는 다음과 같은 옵션 의미를 구분하는 문제가 자주 나온다.
– patience: 성능 향상이 없더라도 훈련을 계속하는 허용 epoch 수
– min_delta: 개선으로 인정할 최소 성능 향상 폭
– restore_best_weights: True일 경우 검증 성능이 최고였을 때의 가중치를 복원, False일 경우 조기 종료 직전의 가중치를 사용

restore_best_weights를 False로 설정하면 조기 종료 직전의 가중치를 사용하게 되어 성능이 저하될 수 있다는 점이 함정으로 출제될 수 있다.