ㅁ 학습 곡선

ㅇ 정의:
– 학습 곡선은 모델의 학습 과정에서 성능 변화를 시각적으로 나타낸 그래프이며, 주로 훈련 데이터와 검증 데이터의 성능을 비교하여 모델의 학습 상태를 평가하는 데 사용된다.

ㅇ 특징:
– 훈련 데이터와 검증 데이터의 성능 차이를 통해 과적합(overfitting) 또는 과소적합(underfitting)을 진단할 수 있다.
– 학습 데이터의 크기 변화에 따른 성능 변화를 확인할 수 있다.
– 학습 초기에 급격히 향상되다가 점차 완만해지는 경향을 보인다.

ㅇ 적합한 경우:
– 모델의 학습 상태를 시각적으로 평가하고 싶을 때.
– 데이터 크기와 모델 복잡도 간의 관계를 이해하고 싶을 때.

ㅇ 시험 함정:
– 학습 곡선의 형태가 항상 동일하다고 가정하는 오류.
– 훈련 데이터와 검증 데이터의 성능 차이를 과소평가하거나 과대평가하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “학습 곡선은 훈련 데이터와 검증 데이터 성능 변화를 시각적으로 나타낸다.”
– X: “학습 곡선은 항상 훈련 데이터와 검증 데이터의 성능이 동일하게 나타난다.”

================================

1. Underfitting

ㅇ 정의:
– Underfitting은 모델이 충분히 학습되지 않아 데이터의 패턴을 제대로 학습하지 못한 상태를 의미한다.

ㅇ 특징:
– 훈련 데이터와 검증 데이터 모두에서 낮은 성능을 보인다.
– 모델이 너무 단순하거나 학습 데이터가 충분하지 않을 때 발생한다.
– 학습 곡선에서 훈련 데이터와 검증 데이터의 성능이 모두 낮게 유지된다.

ㅇ 적합한 경우:
– 모델을 간단히 테스트하거나 학습 데이터가 매우 제한적일 때.

ㅇ 시험 함정:
– Underfitting을 과적합으로 혼동하는 경우.
– 모델 복잡도를 증가시키면 항상 성능이 개선된다고 가정하는 오류.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Underfitting은 모델이 충분히 학습되지 않아 훈련 데이터와 검증 데이터 모두에서 낮은 성능을 보이는 상태이다.”
– X: “Underfitting은 검증 데이터에서만 성능이 낮아지는 상태이다.”

ㅁ 추가 학습 내용

Underfitting과 관련된 추가 개념으로 학습률과 모델 복잡도 간의 관계를 이해하는 것이 중요합니다. 학습률이 너무 낮으면 모델이 데이터를 충분히 학습하지 못해 학습 속도가 느려지고 underfitting이 발생할 수 있습니다. 학습률은 모델이 데이터에서 패턴을 학습하는 속도를 조정하는 중요한 하이퍼파라미터로, 적절한 값으로 설정해야 효과적인 학습이 가능합니다.

underfitting을 해결하기 위해 다음과 같은 방법을 고려할 수 있습니다:
1. 데이터 전처리 단계에서 특징(feature)을 추가하여 모델이 더 많은 정보를 학습할 수 있도록 돕습니다. 예를 들어, 새로운 변수 생성이나 기존 변수의 변환을 통해 데이터의 표현력을 높일 수 있습니다.
2. 모델 구조를 복잡하게 만들어 더 많은 파라미터를 사용하여 데이터의 패턴을 보다 세밀하게 학습할 수 있도록 합니다. 예를 들어, 더 많은 레이어를 추가하거나 뉴런의 수를 늘리는 방식으로 모델을 확장할 수 있습니다.

이러한 방법들은 underfitting을 완화하고 모델의 성능을 향상시키는 데 도움을 줄 수 있습니다.