ㅁ 검증 기법

ㅇ 정의:
– 검증 기법은 모델의 성능을 평가하기 위해 데이터를 나누고 반복적으로 학습 및 검증을 수행하는 방법을 의미한다.

ㅇ 특징:
– 데이터의 분할 방식에 따라 다양한 검증 기법이 존재하며, 데이터의 활용도를 최대화하고 과적합을 방지하는 데 도움을 준다.

ㅇ 적합한 경우:
– 데이터가 부족하거나 모델의 일반화 능력을 확인하고자 할 때 적합하다.

ㅇ 시험 함정:
– 검증 기법의 종류와 목적을 혼동하거나, 데이터 분할 과정에서 데이터 누출 문제를 간과할 수 있다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 검증 기법은 모델 성능 평가를 위해 데이터를 나누는 방법이다.
– X: 검증 기법은 데이터의 전처리 과정이다.

================================

1. K-Fold CV

ㅇ 정의:
– K-Fold Cross Validation은 데이터를 K개의 폴드로 나누어 각 폴드를 검증 데이터로 사용하고 나머지 폴드는 학습 데이터로 사용하는 방법을 반복하여 모델을 평가하는 기법이다.

ㅇ 특징:
– 모든 데이터가 검증에 사용되며, 데이터의 활용도가 높다.
– K 값에 따라 계산 비용과 평가 안정성이 달라진다.

ㅇ 적합한 경우:
– 데이터가 충분하지 않아 테스트 데이터와 학습 데이터를 분리하기 어려운 경우.
– 모델의 과적합 여부를 확인하고자 할 때.

ㅇ 시험 함정:
– K 값을 잘못 설정하여 과도한 계산 비용이 발생하거나 평가 결과가 불안정할 수 있다.
– 데이터의 순서를 고려하지 않아 데이터 누출이 발생할 가능성이 있다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: K-Fold CV는 데이터를 K개의 폴드로 나누어 각 폴드를 검증 데이터로 사용하는 방법이다.
– X: K-Fold CV는 데이터를 랜덤하게 나누어 하나의 폴드만 학습 데이터로 사용하는 기법이다.

================================

ㅁ 추가 학습 내용

1. K 값 설정의 중요성:
– K 값은 모델의 성능 평가에 중요한 역할을 합니다. 너무 작은 K 값은 모델 평가 결과가 불안정해질 수 있습니다. 이는 검증 세트의 크기가 작아져 모델이 데이터의 특정 패턴에 과적합될 가능성이 높아지기 때문입니다.
– 반대로, K 값이 너무 크면 각 폴드의 검증 세트 크기가 작아지고 학습 세트가 커지면서 계산 비용이 증가합니다. 또한, 데이터의 일부만 검증하게 되어 모델 평가의 일반화 능력이 떨어질 수 있습니다.
– 적절한 K 값을 선택하려면 데이터의 크기와 특성을 고려해야 합니다. 일반적으로 K=5나 K=10이 자주 사용되며, 데이터셋 크기가 작을수록 작은 K 값을 선택하는 것이 유리합니다.

2. 데이터 순서의 중요성:
– 데이터가 시간 순서대로 정렬된 경우, K-Fold 교차 검증을 사용할 때 순서를 고려하지 않으면 과거 데이터와 미래 데이터가 혼합될 수 있습니다. 이는 데이터 누출로 이어져 모델 성능 평가가 왜곡될 수 있습니다.
– 이를 방지하기 위해 시간 순서를 유지하는 교차 검증 방법을 사용해야 합니다. 대표적인 방법으로는 Time Series Split이 있습니다. 이 방법은 데이터의 시간 순서를 유지하며 점진적으로 학습 데이터와 검증 데이터를 분할합니다.
– Time Series Split을 사용할 때, 검증 세트에는 학습 세트보다 이후 시점의 데이터만 포함되도록 설정해야 합니다. 이렇게 하면 실제 예측 상황을 시뮬레이션할 수 있어 모델 평가가 더 신뢰할 수 있습니다.