ㅁ 결측치 처리

ㅇ 정의:
데이터셋에서 누락된 값을 처리하여 분석이 가능하도록 만드는 과정.

ㅇ 특징:
– 결측치는 데이터 분석의 정확도를 저하시킬 수 있음.
– 처리 방법에 따라 분석 결과가 크게 달라질 수 있음.

ㅇ 적합한 경우:
– 데이터셋에 결측치가 다수 포함된 경우.
– 결측치가 특정 패턴을 따르지 않고 무작위로 분포하는 경우.

ㅇ 시험 함정:
– 결측치 처리 방법을 선택할 때 데이터의 특성을 고려하지 않는 경우.
– 결측치가 많을수록 평균 대체법이 항상 적합하다는 오해.

ㅇ 시험 대비 “패턴 보기” 예시:
X: 결측치 처리는 데이터 분석 후에 수행하는 것이 바람직하다.
O: 결측치 처리는 데이터 분석 전 단계에서 수행해야 한다.

================================

1. KNN Imputer

ㅇ 정의:
K-최근접 이웃(K-Nearest Neighbors) 알고리즘을 사용하여 결측치를 대체하는 방법.

ㅇ 특징:
– 결측치를 대체할 때 유사한 데이터 포인트를 기준으로 값을 예측.
– K 값에 따라 결과가 달라질 수 있음.
– 수치형 데이터에 적합하며, 범주형 데이터에도 일부 응용 가능.

ㅇ 적합한 경우:
– 결측치가 무작위로 발생했을 때.
– 데이터셋에 유사한 속성을 가진 데이터 포인트가 충분히 있는 경우.

ㅇ 시험 함정:
– K 값 설정이 잘못되면 과적합 또는 과소적합 문제 발생 가능.
– 계산 비용이 높아 대규모 데이터셋에는 부적합할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
X: KNN Imputer는 결측치가 없는 데이터셋에서도 사용된다.
O: KNN Imputer는 결측치가 있는 데이터셋에서 사용된다.

================================

ㅁ 추가 학습 내용

KNN Imputer는 결측치를 채우는 데 사용되는 기법으로, K-최근접 이웃 알고리즘을 기반으로 작동합니다. 이를 효과적으로 활용하기 위해 다음과 같은 주요 내용을 학습해야 합니다.

1. **KNN Imputer의 장단점**:
– **장점**:
– 데이터의 패턴을 유지하면서 결측치를 채울 수 있다.
– 연속형 변수와 범주형 변수 모두에 적용 가능하다.
– 단순한 평균이나 중앙값 대체보다 더 정교한 대체 방법을 제공한다.
– **단점**:
– 계산 비용이 높다. 특히 데이터셋이 크거나 결측치가 많은 경우 처리 시간이 오래 걸릴 수 있다.
– K 값 설정에 따라 성능이 크게 달라질 수 있다.
– 데이터가 고차원일 경우, 거리 계산이 복잡해지고 효율성이 떨어질 수 있다.

2. **K 값 설정의 중요성**:
– **K 값이 너무 작을 경우**:
– 과적합이 발생할 가능성이 높다. 이웃 수가 적으면 특정 데이터 포인트에 지나치게 민감하게 반응하여 일반화가 어렵다.
– 결측치를 채운 값이 데이터의 전반적인 패턴을 반영하지 못할 수 있다.
– **K 값이 너무 클 경우**:
– 데이터의 세부적인 특성이 반영되지 않을 수 있다. 지나치게 많은 이웃을 고려하면 개별 데이터 포인트의 특성을 희석시킬 수 있다.
– 결측치를 채운 값이 데이터 전체의 평균적인 경향에 가까워질 가능성이 높다.
– 적절한 K 값은 데이터의 특성과 크기에 따라 다르며, 일반적으로 교차 검증을 통해 최적의 값을 찾아야 한다.

3. **계산 비용을 줄이기 위한 방법**:
– **샘플링 기법**:
– 전체 데이터셋 대신 대표성을 가진 소규모 샘플을 사용하여 계산을 수행한다.
– 샘플링은 데이터의 크기에 따라 적절히 설계되어야 하며, 무작위 샘플링 또는 계층적 샘플링을 활용할 수 있다.
– **차원 축소 기법**:
– 데이터의 차원이 높을 경우 PCA(주성분 분석)와 같은 차원 축소 기법을 사용하여 계산 효율을 높인다.
– **효율적인 거리 계산**:
– KD-트리 또는 Ball-트리와 같은 데이터 구조를 사용하여 가까운 이웃을 빠르게 찾는다.
– 이러한 방법은 특히 데이터가 고차원일 때 계산 비용을 크게 줄이는 데 유용하다.

KNN Imputer를 활용할 때는 데이터의 특성을 충분히 이해하고, K 값을 신중하게 설정하며, 계산 비용을 줄일 수 있는 방법을 적절히 적용하는 것이 중요합니다.