ㅁ 이상치 탐지 기법

ㅇ 정의:
데이터셋 내에서 정상 데이터와 다른 패턴을 보이는 데이터를 식별하기 위한 기법.

ㅇ 특징:
– 비정상적인 데이터 포인트를 찾아내어 분석의 정확성을 높임.
– 기법에 따라 지도학습, 비지도학습 방식으로 나뉨.

ㅇ 적합한 경우:
– 센서 데이터에서 비정상 측정값 식별.
– 금융 거래 데이터에서 이상 거래 탐지.

ㅇ 시험 함정:
– 이상치와 노이즈의 개념을 혼동할 수 있음.
– 비지도학습 기반 기법의 경우 결과 해석이 어려울 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 이상치 탐지는 데이터의 품질 향상을 위해 필요하다.
X: 모든 이상치는 제거해야 한다.

================================

1. DBSCAN 기반 탐지

ㅇ 정의:
밀도 기반 클러스터링 알고리즘(DBSCAN)을 활용하여 이상치를 탐지하는 기법.

ㅇ 특징:
– 밀도가 낮은 지역에 위치한 데이터를 이상치로 간주.
– 클러스터의 밀도 기준을 설정하는 파라미터(epsilon, minPts)에 민감함.

ㅇ 적합한 경우:
– 비선형 구조를 가진 데이터셋에서 이상치 탐지.
– 클러스터링과 이상치 탐지를 동시에 수행하고자 할 때.

ㅇ 시험 함정:
– epsilon과 minPts 값 설정이 부적절하면 성능 저하.
– 고차원 데이터에서 계산 복잡도가 증가할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: DBSCAN은 밀도 기반 클러스터링 기법으로 이상치 탐지에 활용될 수 있다.
X: DBSCAN은 항상 정확한 이상치를 탐지할 수 있다.

ㅁ 추가 학습 내용

DBSCAN의 주요 파라미터 설정 방법과 결과 변화:

DBSCAN은 밀도 기반 클러스터링 알고리즘으로, 주요 파라미터로 epsilon(반지름)과 min_samples(최소 샘플 수)를 설정해야 합니다. 이 두 파라미터는 클러스터의 형성과 이상치 탐지에 큰 영향을 미칩니다.

1. **Epsilon 설정**:
– Epsilon은 데이터 포인트가 클러스터의 일부로 간주되기 위해 고려되는 거리입니다.
– Epsilon 값을 작게 설정하면 클러스터가 더 세분화되며, 많은 데이터 포인트가 이상치로 간주될 가능성이 높아집니다. 이는 데이터가 밀집된 경우에 유용할 수 있지만, 클러스터가 지나치게 분리될 위험이 있습니다.
– 반대로 Epsilon 값을 크게 설정하면 더 큰 클러스터가 형성되고 이상치로 간주되는 데이터가 줄어들 수 있습니다. 하지만 지나치게 큰 값을 설정하면 서로 다른 클러스터가 하나로 합쳐질 가능성이 있습니다.

2. **Min_samples 설정**:
– Min_samples는 클러스터를 형성하기 위해 필요한 최소 데이터 포인트 수입니다.
– Min_samples 값을 작게 설정하면 클러스터 형성이 쉬워지고 이상치로 간주되는 데이터가 줄어들 수 있습니다. 하지만 노이즈가 클러스터로 포함될 위험이 있습니다.
– Min_samples 값을 크게 설정하면 클러스터 형성이 어려워지고 이상치로 간주되는 데이터가 많아질 수 있습니다. 이는 클러스터가 더 밀집된 경우에 적합합니다.

구체적인 사례:
– 데이터가 밀집된 경우: Epsilon을 작게 설정하면 클러스터가 세분화되고, min_samples 값을 작게 설정하면 클러스터 형성 가능성이 높아집니다.
– 데이터가 희박한 경우: Epsilon을 크게 설정하고, min_samples 값을 높여야 안정적인 클러스터 형성이 가능합니다.

DBSCAN이 고차원 데이터에서 발생할 수 있는 문제점과 해결 방법:

1. **문제점: 차원의 저주**:
– 고차원 데이터에서는 데이터 포인트 간의 거리가 균일해지는 경향이 있습니다. 이는 DBSCAN에서 밀도를 기반으로 클러스터를 형성하는 데 어려움을 초래합니다. 결과적으로 클러스터가 제대로 형성되지 않거나 모든 데이터가 이상치로 간주될 수 있습니다.

2. **해결 방법: 차원 축소 기법 활용**:
– **PCA(Principal Component Analysis)**:
– 고차원 데이터를 저차원으로 변환하여 주요 정보를 유지하면서 데이터의 구조를 간결하게 만듭니다.
– DBSCAN을 적용하기 전에 PCA를 사용하면 차원의 저주 문제를 완화하고 클러스터링 성능을 향상시킬 수 있습니다.
– **t-SNE(t-Distributed Stochastic Neighbor Embedding)**:
– 데이터의 복잡한 비선형 구조를 저차원 공간에서 시각적으로 표현하는 데 유용합니다.
– DBSCAN을 적용하기 전에 t-SNE를 사용하면 고차원 데이터의 클러스터 구조를 더 명확히 파악할 수 있습니다.
– **UMAP(Uniform Manifold Approximation and Projection)**:
– t-SNE와 유사하지만 계산 속도가 더 빠르고 클러스터의 전반적인 구조를 잘 보존합니다.
– DBSCAN과 함께 사용하면 고차원 데이터에서 클러스터링 결과를 개선할 수 있습니다.

이와 같이 DBSCAN을 사용할 때 파라미터 설정과 차원 축소 기법을 적절히 활용하면 다양한 데이터에 대해 더 효과적인 클러스터링 결과를 얻을 수 있습니다.