ㅁ 검증 기법

1. K-Fold CV

ㅇ 정의:
주어진 데이터셋을 K개의 동일 크기 폴드(fold)로 나누어, 각 폴드를 한 번씩 검증 데이터로 사용하고 나머지 K-1개의 폴드를 학습에 사용하는 교차 검증 방법.

ㅇ 특징:
– 데이터셋 전반에 걸쳐 모델의 성능을 고르게 평가 가능
– 데이터 손실이 거의 없음
– K 값이 크면 계산 비용이 증가하지만 더 안정적인 성능 추정 가능
– 데이터 불균형 시 Stratified K-Fold를 사용하여 클래스 비율 유지 가능

ㅇ 적합한 경우:
– 데이터셋이 크지 않아 검증 데이터 손실을 최소화하고 싶은 경우
– 모델의 일반화 성능을 안정적으로 평가하고 싶은 경우
– 하이퍼파라미터 튜닝 시 성능 비교가 필요한 경우

ㅇ 시험 함정:
– K 값을 너무 크게 설정하면 연산량이 급격히 증가하여 실무 적용이 어려울 수 있음
– 시계열 데이터에는 일반 K-Fold를 사용하면 데이터 누수가 발생할 수 있음(Time Series Split 필요)
– Stratified 옵션 없이 불균형 데이터에 적용 시 성능 편향 발생 가능

ㅇ 시험 대비 “패턴 보기” 예시:
O: “K-Fold CV는 데이터를 K개의 폴드로 나누어 모든 데이터가 한 번씩 검증에 사용되도록 한다.”
O: “Stratified K-Fold는 클래스 비율을 유지하면서 폴드를 나눈다.”
X: “K-Fold CV는 항상 시계열 데이터에도 안전하게 적용 가능하다.”
X: “K-Fold CV에서는 일부 데이터가 검증에 전혀 사용되지 않을 수 있다.”

ㅁ 추가 학습 내용

K-Fold 교차검증의 변형 기법에는 Stratified K-Fold, Group K-Fold, Repeated K-Fold, Time Series Split이 있다.
시계열 데이터 처리 시에는 반드시 Time Series Split을 사용해야 하며, 데이터 누수 방지 개념이 중요하다.
K 값은 일반적으로 5 또는 10을 많이 사용한다.
Leave-One-Out CV(LOOCV)는 K를 데이터 개수 N으로 설정한 경우이며, K-Fold와의 차이를 구분할 수 있어야 한다.
기법 선택 시 연산 복잡도, 데이터 크기, 데이터 불균형 여부를 고려해야 한다.