ㅁ 결측치 처리

ㅇ 정의:
데이터셋에서 누락된 값을 처리하여 분석의 정확성을 높이는 과정.

ㅇ 특징:
– 데이터의 일관성을 유지하며 분석 결과의 신뢰도를 향상시킴.
– 결측치 유형(무작위, 비무작위)에 따라 적절한 처리 방법을 선택해야 함.

ㅇ 적합한 경우:
– 데이터 분석 시 결측치가 모델의 성능에 영향을 미칠 경우.
– 결측치 비율이 낮거나 적당한 경우.

ㅇ 시험 함정:
– 결측치가 많을 때 단순 대체법을 사용하면 데이터 왜곡 가능성이 있음.
– 결측치 유형을 고려하지 않고 처리 방법을 선택하면 부정확한 결과 초래.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “결측치 처리는 데이터 분석의 필수 과정이다.”
X: “결측치가 많아도 처리하지 않아도 된다.”

================================

1. Interpolation 기법

ㅇ 정의:
결측치를 주변 데이터 값을 기반으로 예측하여 채우는 방법.

ㅇ 특징:
– 시간 또는 순서에 따라 데이터가 연속적일 때 효과적임.
– 선형, 다항식, 스플라인 등의 다양한 방법이 있음.

ㅇ 적합한 경우:
– 데이터가 시간적 순서 또는 공간적으로 연속성을 가지는 경우.
– 결측치가 데이터의 중간에 위치할 때.

ㅇ 시험 함정:
– 데이터가 비연속적일 경우 부적합.
– 잘못된 기법 선택 시 데이터의 패턴이 왜곡될 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “선형 보간법은 시간 순서 데이터의 결측치 처리에 적합하다.”
X: “보간법은 모든 유형의 결측치 처리에 적합하다.”

1.1 선형 보간법

ㅇ 정의:
두 인접한 데이터 포인트를 직선으로 연결하여 결측치를 예측하는 방법.

ㅇ 특징:
– 계산이 간단하고 빠름.
– 데이터가 선형적일 때 정확도가 높음.

ㅇ 적합한 경우:
– 데이터가 선형적이거나 근사적으로 선형적인 패턴을 보일 때.
– 결측치가 적고 간단한 처리가 필요한 경우.

ㅇ 시험 함정:
– 비선형 데이터에 적용 시 부정확한 결과 초래 가능.
– 결측치가 연속적으로 발생한 경우 적합하지 않을 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “선형 보간법은 데이터가 선형적일 때 유용하다.”
X: “선형 보간법은 비선형 데이터에도 항상 정확하다.”

1.2 스플라인 보간법

ㅇ 정의:
다항식을 사용하여 데이터의 연속성과 매끄러움을 보장하며 결측치를 예측하는 방법.

ㅇ 특징:
– 데이터의 매끄러운 연결을 보장함.
– 선형 보간법보다 복잡하지만 더 정확한 결과를 제공할 수 있음.

ㅇ 적합한 경우:
– 데이터가 비선형적이거나 복잡한 패턴을 보일 때.
– 높은 정확도가 요구되는 경우.

ㅇ 시험 함정:
– 데이터가 과적합될 수 있음.
– 계산 비용이 높아 대규모 데이터셋에 비효율적일 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “스플라인 보간법은 비선형 데이터의 결측치 처리에 적합하다.”
X: “스플라인 보간법은 항상 선형 보간법보다 우수하다.”

ㅁ 추가 학습 내용

결측치 처리에 대한 학습 내용을 다음과 같이 정리합니다:

1. **결측치 처리 주요 기법**:
– **삭제 기법**: 결측치가 포함된 데이터를 제거하는 방법으로, 결측치 비율이 낮을 때 효과적입니다.
– 장점: 간단하고 데이터 왜곡 가능성이 적음.
– 단점: 데이터 손실로 인해 정보가 줄어들 수 있음.
– 적용 사례: 결측치가 전체 데이터의 극히 일부일 경우 사용.
– **대체 기법**: 결측치를 다른 값으로 대체하는 방법으로, 다양한 세부 기법이 존재합니다.
– 평균 대체: 결측치를 해당 열의 평균값으로 대체.
– 중앙값 대체: 결측치를 해당 열의 중앙값으로 대체.
– KNN 대체: K-최근접 이웃 알고리즘을 사용하여 결측치를 예측하여 대체.
– 장점: 데이터 손실 없이 결측치를 처리할 수 있음.
– 단점: 대체된 값이 데이터의 실제 분포를 왜곡할 가능성이 있음.

2. **결측치 유형에 따른 처리 방법**:
– 결측치 유형(MCAR, MAR, MNAR)에 따라 적합한 처리 방법이 달라질 수 있음.
– MCAR(완전히 랜덤 결측): 삭제 기법이 적합할 수 있음.
– MAR(조건부 랜덤 결측): 대체 기법이 더 적합할 수 있음.
– MNAR(랜덤이 아닌 결측): 결측치의 원인을 분석하여 맞춤형 처리 필요.

3. **각 기법의 장단점 및 적용 사례**:
– 삭제 기법: 데이터 손실을 감수할 수 있는 경우에 적합.
– 대체 기법: 데이터의 연속성을 유지하고자 할 때 적합하며, 데이터 특성에 따라 대체 방법을 선택해야 함.
– 사례 분석을 통해 기법의 적합성을 판단하는 능력을 키우는 것이 중요함.

4. **시험 대비**:
– 결측치 처리 기법의 적합성을 묻는 문제에 대비하기 위해 데이터 특성과 결측치 비율을 고려한 기법 선택 능력을 강화해야 함.
– 각 기법의 특징과 사용 조건을 명확히 이해하고, 실제 데이터를 기반으로 기법을 적용하는 연습을 통해 실전 감각을 익혀야 함.