ㅁ 결측치 처리

ㅇ 정의:
데이터셋 내 결측된 값을 처리하여 분석의 정확성과 신뢰성을 높이는 과정.

ㅇ 특징:
– 결측치의 유형(무작위 결측, 비무작위 결측 등)에 따라 적합한 방법이 달라짐.
– 데이터의 분포와 분석 목적에 따라 처리 방법 선택 필요.

ㅇ 적합한 경우:
– 결측치가 데이터셋의 일부를 차지하여 분석 결과에 영향을 줄 경우.
– 결측값이 특정 변수에 집중되어 있지 않을 경우.

ㅇ 시험 함정:
– 결측치 비율이 높을수록 단순 대체법의 신뢰도가 낮아질 수 있음.
– 결측치 제거 시 데이터셋 크기 감소로 인한 통계적 유의성 문제 발생 가능.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 결측치 처리 방법은 데이터의 특성과 분석 목적에 따라 달라질 수 있다.
X: 모든 결측치는 단순히 제거하는 것이 가장 좋은 방법이다.

================================

1. 다중 대체법(MICE)

ㅇ 정의:
다중 대체법(MICE, Multiple Imputation by Chained Equations)은 결측치를 여러 번 대체하여 각 대체본의 분석 결과를 종합하는 방식.

ㅇ 특징:
– 결측치 대체 시 불확실성을 반영하여 보다 신뢰성 있는 결과 도출.
– 연쇄 방정식을 사용하여 변수 간의 상관관계를 고려함.

ㅇ 적합한 경우:
– 데이터셋 내 변수 간 상호작용이 중요한 경우.
– 결측치가 무작위로 발생했을 가능성이 높은 경우.

ㅇ 시험 함정:
– 다중 대체법을 사용해도 분석 결과가 왜곡될 수 있는 경우가 있음.
– 대체본 수를 적게 설정하면 결과의 신뢰성이 낮아질 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: MICE는 변수 간 상관관계를 고려하여 결측치를 대체한다.
X: MICE는 결측치를 단일 값으로 대체하는 방법이다.

================================

ㅁ 추가 학습 내용

1. 다중 대체법(MICE)의 계산 과정에서 사용하는 연쇄 방정식은 각 변수의 결측값을 다른 변수들과의 관계를 기반으로 예측하여 대체하는 방식입니다. 구체적으로, MICE는 다음 단계를 따릅니다:
– 먼저, 모든 결측값을 초기 대체값으로 채웁니다. 초기값은 평균, 중앙값 또는 랜덤 값으로 설정될 수 있습니다.
– 각 변수에 대해, 결측값이 없는 데이터를 기반으로 예측 모델을 생성합니다. 이 모델은 선형 회귀, 로지스틱 회귀, 또는 다른 적절한 알고리즘을 사용할 수 있습니다.
– 모델을 사용하여 해당 변수의 결측값을 예측하고 대체합니다.
– 위 과정을 반복하여 모든 변수의 결측값을 순차적으로 대체하며, 이 과정은 지정된 반복 횟수만큼 수행됩니다.
– 최종적으로, 여러 대체 결과를 생성하여 결측값의 불확실성을 반영합니다.

2. 다중 대체법(MICE)과 단순 대체법의 차이점은 다음과 같습니다:
– 단순 대체법은 결측값을 하나의 값(예: 평균, 중앙값)으로 대체하며, 데이터의 변동성을 충분히 반영하지 못합니다. 이는 과소 추정이나 과대 추정의 위험을 증가시킬 수 있습니다.
– 다중 대체법은 각 결측값을 여러 번 대체하여 데이터의 불확실성을 반영합니다. 이를 통해 대체된 데이터가 원래 데이터의 통계적 특성을 더 잘 유지할 수 있습니다.
– 단순 대체법은 계산이 간단하고 빠르지만, 통계적 분석의 정확도가 낮을 수 있습니다. 반면, 다중 대체법은 계산이 복잡하고 시간이 더 걸리지만, 통계적 분석의 신뢰성을 높이는 데 유리합니다.

3. MICE를 적용할 때 데이터셋의 크기와 변수 수는 결과에 중요한 영향을 미칩니다:
– 데이터셋이 클수록, 결측값을 예측하기 위한 모델이 더 많은 정보를 활용할 수 있어 대체의 정확성이 높아질 가능성이 있습니다.
– 변수의 수가 많을수록, 각 변수 간의 관계를 모델링하는 데 필요한 계산이 복잡해지며, 적절한 모델 선택이 중요해집니다.
– 데이터셋이 너무 작거나 변수 간의 관계가 약하면, MICE의 예측 모델이 신뢰할 만한 대체값을 생성하지 못할 수 있으므로, 데이터의 품질과 변수 간의 상관성을 사전에 평가하는 것이 필요합니다.