ㅁ 결측치 및 이상치

ㅇ 정의:
데이터셋에서 누락된 값을 처리하거나 이상치를 제거하여 분석에 적합한 상태로 만드는 과정.

ㅇ 특징:
– 데이터의 품질을 개선하여 분석 결과의 신뢰성을 높임.
– 결측치를 처리하는 방식은 데이터의 특성과 분석 목적에 따라 달라짐.

ㅇ 적합한 경우:
– 데이터에 결측치가 포함되어 있어 분석 결과에 영향을 미칠 가능성이 있는 경우.
– 이상치가 데이터의 분포를 왜곡하여 결과의 신뢰성을 떨어뜨리는 경우.

ㅇ 시험 함정:
– 결측치 처리 방법을 잘못 선택하면 데이터의 본래 의미를 왜곡할 수 있음.
– 이상치를 제거할 때 기준을 명확히 하지 않으면 중요한 정보를 잃을 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 결측치를 평균값으로 대체하면 데이터의 분포를 유지할 수 있다.
– X: 모든 결측치는 제거하는 것이 최선의 해결책이다.

================================

1. fillna

ㅇ 정의:
결측치를 특정 값으로 채우거나 다른 방법으로 대체하는 기술.

ㅇ 특징:
– 평균, 중앙값, 최빈값 등 통계값으로 대체 가능.
– 특정 값이나 다른 컬럼의 값을 활용하여 결측치를 처리할 수 있음.

ㅇ 적합한 경우:
– 결측치가 분석 결과에 영향을 미치지 않도록 처리해야 할 때.
– 데이터셋의 크기가 커서 일부 결측치를 제거하는 것이 비효율적일 때.

ㅇ 시험 함정:
– fillna를 사용할 때 대체 값이 데이터의 분포를 왜곡하지 않는지 확인해야 함.
– 대체 값 선택이 데이터의 본래 의미를 유지하는지 검토하지 않으면 분석이 잘못될 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: fillna를 사용하여 결측치를 평균값으로 대체하면 데이터의 연속성을 유지할 수 있다.
– X: fillna는 결측치를 제거하는 방법이다.

ㅁ 추가 학습 내용

결측치 처리 방식은 데이터의 특성과 분석 목적에 따라 적절히 선택해야 합니다. 대표적인 방법으로는 평균값, 중앙값, 최빈값을 사용한 대체 방식이 있으며, 더 나아가 머신러닝 모델을 활용하여 결측값을 예측하고 대체하는 방식도 중요합니다. 이 방법은 특히 데이터의 복잡성이 높거나 결측치가 많은 경우 유용할 수 있습니다.

이상치 처리 방법으로는 IQR(Interquartile Range)을 활용한 제거 방식이 자주 사용됩니다. 이는 데이터의 1사분위수(Q1)와 3사분위수(Q3)를 기준으로 IQR 범위를 벗어난 값을 이상치로 간주하여 처리하는 방법입니다. 또한, 로그 변환 기법은 데이터의 분포를 정규화하거나 이상치의 영향을 완화하기 위해 사용되며, 데이터 분석 및 모델링의 정확성을 높이는 데 기여할 수 있습니다.

따라서, 결측치와 이상치 처리에 대한 다양한 방법들을 이해하고 적절히 활용하는 것이 데이터 분석의 핵심입니다.