ㅁ 결측치 및 이상치

ㅇ 정의: 데이터셋에서 누락되거나 비정상적으로 벗어난 값을 처리하는 과정으로, 데이터 분석 및 모델 학습의 정확도를 높이기 위한 필수 단계.

ㅇ 특징:
– 결측치는 데이터가 누락된 부분으로, NULL, NaN 등으로 표현됨.
– 이상치는 데이터 분포에서 통계적으로 극단적인 값으로, 데이터 오류나 특이 현상을 나타낼 수 있음.
– 적절한 처리 방법을 사용하지 않으면 분석 결과 왜곡 가능성이 높음.

ㅇ 적합한 경우:
– 데이터가 불완전하거나 이상치가 포함된 경우.
– 데이터의 신뢰성을 높이고 분석 결과의 정확도를 개선하고자 할 때.

ㅇ 시험 함정:
– 결측치와 이상치의 차이를 혼동하거나 처리 방법을 잘못 적용하는 경우.
– 특정 처리 방법이 모든 상황에 적합하다고 오해하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 결측치는 데이터의 누락된 값을 의미하며, 이상치는 데이터 분포에서 극단적인 값을 나타낸다.
– X: 모든 결측치는 이상치로 간주되어야 한다.

================================

1. Node Feature Masking

ㅇ 정의: 그래프 데이터에서 특정 노드의 피처(속성) 값을 마스킹(masking)하여 결측치를 처리하거나 모델의 일반화 능력을 평가하는 기법.

ㅇ 특징:
– 그래프 기반 머신러닝에서 주로 사용됨.
– 마스킹된 피처를 예측하거나 복원하는 과정에서 모델의 성능을 평가할 수 있음.
– 결측치 처리뿐만 아니라 데이터 증강(data augmentation) 기법으로도 활용 가능.

ㅇ 적합한 경우:
– 그래프 데이터에서 결측된 노드 속성을 복원해야 할 때.
– 모델의 일반화 성능을 테스트하거나 데이터 증강 기법이 필요한 경우.

ㅇ 시험 함정:
– 일반적인 결측치 처리와 그래프 데이터의 특수성을 혼동하는 경우.
– 마스킹된 피처의 복원이 항상 정확한 결과를 보장한다고 생각하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Node Feature Masking은 그래프 데이터에서 결측된 노드 속성을 복원하거나 모델의 일반화 성능을 평가할 때 사용된다.
– X: Node Feature Masking은 모든 데이터 유형에서 결측치를 처리하는 일반적인 방법이다.

ㅁ 추가 학습 내용

Node Feature Masking은 그래프 신경망(GNN) 모델에서 다양한 방식으로 활용될 수 있습니다. 구체적인 사례로는 다음과 같은 응용이 있습니다:

1. 소셜 네트워크에서 누락된 사용자 정보를 복원:
– 소셜 네트워크 그래프에서 일부 노드(사용자)의 속성 정보가 누락되었을 때, Node Feature Masking 기법을 사용하여 누락된 정보를 복원할 수 있습니다. 이를 통해 네트워크의 완전성을 높이고, 사용자 간의 상호작용을 더 정확히 모델링할 수 있습니다.

2. 추천 시스템에서 미완성된 사용자-아이템 관계 예측:
– 추천 시스템에서 사용자와 아이템 간의 상호작용 데이터를 그래프로 표현할 때, Node Feature Masking을 통해 일부 사용자-아이템 관계를 숨기고 모델이 이를 예측하도록 학습시킬 수 있습니다. 이는 모델의 일반화 성능을 높이는 데 기여합니다.

결측치 처리와 데이터 증강의 차이점 비교:
1. 결측치 처리:
– 데이터에서 누락된 값(결측치)을 다루는 과정입니다.
– 주로 결측치를 대체하거나 복원하는 방법을 사용합니다(예: 평균값 대체, 회귀 모델 활용).
– 데이터의 완전성을 보장하여 분석이나 학습에 활용할 수 있도록 합니다.

2. 데이터 증강:
– 기존 데이터를 변형하거나 생성하여 학습 데이터의 다양성을 인위적으로 증가시키는 과정입니다.
– 데이터의 크기를 늘려 모델의 일반화 성능을 향상시키는 데 목적이 있습니다.
– 예: 이미지 데이터의 회전, 확대, 색상 변조 등.

결론적으로, 결측치 처리는 데이터의 누락된 부분을 복원하여 원래의 데이터를 완전하게 만드는 데 초점을 두고, 데이터 증강은 모델 학습을 위해 데이터를 변형하거나 새롭게 생성하는 데 중점을 둡니다. 두 개념은 목적과 활용 방식에서 차이가 있으므로 시험 대비 시 이를 명확히 구분하여 이해하는 것이 중요합니다.