ㅁ 결측치 및 이상치

ㅇ 정의:
데이터 분석 과정에서 결측치와 이상치를 처리하여 데이터의 품질을 높이는 작업.

ㅇ 특징:
– 데이터의 신뢰성을 확보하기 위해 필수적인 단계.
– 결측치는 데이터 누락, 이상치는 비정상적으로 벗어난 값을 의미.
– 처리 방식에 따라 분석 결과에 큰 영향을 미침.

ㅇ 적합한 경우:
– 데이터가 불완전하거나 이상값으로 인해 분석 결과 왜곡이 우려되는 경우.
– 머신러닝 모델 학습 시 데이터 품질을 높이고자 할 때.

ㅇ 시험 함정:
– 결측치와 이상치를 무조건 제거하면 데이터 손실이 발생할 수 있음.
– 처리 방법 선택 시 데이터의 특성과 목적에 맞지 않으면 분석 결과가 왜곡될 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 결측치 처리 시 평균 대체법은 데이터 분포를 유지하는 데 유리하다.
– X: 이상치는 항상 제거해야만 데이터 품질을 높일 수 있다.

================================

1. Subgraph Sampling

ㅇ 정의:
그래프 데이터에서 서브그래프를 샘플링하여 전체 그래프를 대표할 수 있는 데이터를 추출하는 기법.

ㅇ 특징:
– 그래프의 구조적 특성을 유지하면서 데이터 크기를 줄임.
– 노드와 엣지의 관계를 분석하는 데 유용.
– 랜덤 샘플링, 노드 중심 샘플링 등 다양한 방법 존재.

ㅇ 적합한 경우:
– 대규모 그래프 데이터에서 일부 데이터만으로 분석을 수행하고자 할 때.
– 그래프의 구조적 특성을 유지한 상태에서 효율적으로 계산이 필요한 경우.

ㅇ 시험 함정:
– 샘플링 방법에 따라 결과가 크게 달라질 수 있음.
– 특정 노드나 엣지가 과소/과대 대표될 가능성 존재.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Subgraph Sampling은 그래프 데이터의 구조적 특성을 유지하며 데이터를 축소할 수 있다.
– X: Subgraph Sampling은 항상 무작위로 샘플링을 수행한다.

ㅁ 추가 학습 내용

Subgraph Sampling은 그래프 데이터에서 특정 부분을 추출하여 분석하거나 학습하는 데 사용되는 방법입니다. 이를 통해 전체 그래프를 처리하지 않고도 효율적이고 효과적인 결과를 얻을 수 있습니다. 구체적인 샘플링 방법과 그래프 데이터의 응용 사례는 다음과 같습니다.

1. **샘플링 방법**
– **랜덤 워크(Random Walk)**: 그래프 상에서 임의의 노드에서 시작하여 연결된 엣지를 따라 무작위로 이동하면서 노드와 엣지를 선택하는 방법입니다. 이 방법은 그래프의 지역적 구조를 잘 반영하며, 깊이 있는 정보를 추출하는 데 유용합니다. PageRank 알고리즘에서도 유사한 원리가 사용됩니다.
– **노드 중심 샘플링(Node-Centric Sampling)**: 특정 노드를 기준으로 주변 노드들을 선택하는 방식입니다. 예를 들어, 한 노드와 그 노드에 직접 연결된 이웃 노드들을 포함하는 서브그래프를 생성할 수 있습니다. 이는 노드의 지역적 특성을 분석하는 데 적합합니다.
– **엣지 중심 샘플링(Edge-Centric Sampling)**: 그래프의 엣지(간선)를 중심으로 샘플링을 수행합니다. 임의의 엣지를 선택하고, 해당 엣지와 연결된 노드 및 주변 엣지를 포함하여 서브그래프를 구성합니다. 이는 그래프의 연결 구조를 분석하는 데 유리합니다.
– **확률 기반 샘플링(Probability-Based Sampling)**: 노드나 엣지에 가중치를 부여하고, 가중치에 따라 샘플링 확률을 조정하는 방법입니다. 예를 들어, 중요도가 높은 노드나 엣지를 더 자주 선택하도록 설계할 수 있습니다.
– **층화 샘플링(Stratified Sampling)**: 그래프를 특정 기준(예: 노드의 속성, 커뮤니티 구조 등)에 따라 계층화한 뒤, 각 계층에서 샘플을 추출하는 방식입니다. 이는 다양한 특성을 균형 있게 반영하는 데 효과적입니다.

2. **그래프 데이터의 응용 사례**
– **소셜 네트워크 분석**: 소셜 네트워크에서 노드(사용자)와 엣지(관계)를 분석하여 사용자 간의 관계, 영향력 있는 사용자, 커뮤니티 구조 등을 파악합니다. 예를 들어, 친구 추천 알고리즘이나 영향력 있는 사용자 탐색에 활용됩니다.
– **추천 시스템**: 사용자와 아이템 간의 관계를 그래프로 표현하여, 유사한 사용자나 아이템을 기반으로 추천을 수행합니다. 예를 들어, 영화 추천 시스템에서 사용자와 영화 간의 선호도를 그래프로 표현할 수 있습니다.
– **지식 그래프**: 개체와 관계를 그래프로 표현하여 정보 검색, 질문 응답 시스템 등에 활용됩니다. 예를 들어, 검색 엔진에서 특정 개념과 관련된 정보를 제공할 때 사용됩니다.
– **바이오인포매틱스**: 단백질 상호작용 네트워크, 유전자 네트워크 등 생물학적 데이터를 그래프로 표현하여 질병 원인 분석, 약물 개발 등에 사용됩니다.
– **교통 네트워크 분석**: 도로망, 항공 네트워크 등을 그래프로 모델링하여 교통 흐름 분석, 최적 경로 탐색 등에 활용됩니다.
– **금융 네트워크 분석**: 금융 기관 간의 거래 관계를 그래프로 표현하여 리스크 분석, 사기 탐지 등에 사용됩니다.

이처럼 Subgraph Sampling의 다양한 방법과 그래프 데이터의 응용 사례를 학습하면, 그래프 데이터를 효과적으로 다루고 실무적인 문제를 해결하는 데 큰 도움이 될 것입니다.