ㅁ 그래프 신경망 최적화

ㅇ 정의:
그래프 신경망(GNN)에서 대규모 그래프 데이터를 효율적으로 학습하기 위해 이웃 샘플링 방식을 활용하여 노드 임베딩을 생성하는 방법.

ㅇ 특징:
– 전체 그래프를 한 번에 처리하지 않고, 각 노드의 일정 수 이웃만 샘플링하여 연산량을 줄임.
– inductive learning 지원: 학습 시 보지 못한 새로운 노드나 그래프에도 적용 가능.
– 메모리 효율성이 높아 대규모 그래프 처리에 적합.

ㅇ 적합한 경우:
– 소셜 네트워크, 추천 시스템 등 대규모 네트워크 데이터.
– 학습 중 새로운 노드가 지속적으로 추가되는 환경.

ㅇ 시험 함정:
– GraphSAGE는 transductive 전용이라는 오답 유도 문장에 주의 (정답: inductive 가능).
– 모든 이웃을 사용하는 방식과 혼동 유발 가능.

ㅇ 시험 대비 “패턴 보기” 예시:
O: GraphSAGE는 노드의 일부 이웃만 샘플링하여 학습한다.
X: GraphSAGE는 모든 이웃을 반드시 포함하여 학습해야 한다.

================================

1. GraphSAGE

ㅇ 정의:
샘플링 기반의 GNN 기법으로, 각 노드의 임베딩을 생성할 때 이웃 노드의 특징을 샘플링하여 집계(aggregate)하는 방식.

ㅇ 특징:
– Aggregator 함수(Mean, LSTM, Pooling 등)를 통해 이웃 정보 집계.
– 학습된 aggregator를 통해 새로운 노드 임베딩 생성 가능.
– 메모리 및 계산 효율성 향상.

ㅇ 적합한 경우:
– 대규모 그래프를 효율적으로 처리해야 하는 경우.
– 실시간 또는 온라인 학습 환경.

ㅇ 시험 함정:
– GraphSAGE는 transductive 학습만 가능하다는 문장은 틀림.
– Aggregator 종류를 하나만 지원한다고 착각하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: GraphSAGE는 Mean, LSTM, Pooling 등의 다양한 aggregator를 사용할 수 있다.
X: GraphSAGE는 Mean aggregator만 지원한다.

ㅁ 추가 학습 내용

GraphSAGE의 주요 Aggregator 유형별 특징과 차이점
– Mean Aggregator: 이웃 노드의 임베딩을 단순 평균하여 집계. 계산이 간단하고 안정적이나, 이웃 간 순서 정보나 복잡한 상호작용 표현에는 한계가 있음.
– LSTM Aggregator: 이웃 노드 임베딩을 순차적으로 LSTM에 입력하여 집계. 순서 민감성이 있어 더 복잡한 패턴을 학습할 수 있으나, 이웃 순서가 인위적으로 부여되므로 순서 정보의 의미가 약할 수 있음. 계산 비용이 높음.
– Pooling Aggregator: 각 이웃 임베딩에 비선형 변환을 적용한 후 max-pooling이나 mean-pooling으로 집계. 중요한 특징을 추출하는 데 유리하며, 비선형성을 통해 표현 능력을 강화.
– GCN-style Aggregator: GCN 방식과 유사하게 자기 자신과 이웃 임베딩을 평균 후 가중치를 곱하고 비선형 활성화 적용. 구조가 단순하고 효율적이며 GCN과 동일한 수식 형태를 가짐.

샘플링 크기와 깊이에 따른 성능 및 메모리 사용량 변화
– 샘플링 크기(이웃 수)가 커질수록 더 많은 정보를 반영하여 성능이 향상될 수 있으나, 메모리 사용량과 계산량이 증가.
– 깊이(레이어 수)가 깊어질수록 더 넓은 범위의 이웃 정보를 반영 가능하지만, 과도한 깊이는 오히려 과적합이나 over-smoothing 문제를 유발할 수 있음.
– 샘플링 크기와 깊이의 조합을 적절히 조정하여 성능과 자원 사용의 균형을 맞추는 것이 중요.

Inductive와 Transductive 학습의 차이
– Inductive 학습: 학습 시 보지 못한 새로운 노드나 그래프에도 일반화 가능. GraphSAGE는 이웃의 특징을 기반으로 임베딩을 생성하므로 inductive 학습에 적합.
– Transductive 학습: 학습 시 그래프 전체 구조를 알고 있으며, 새로운 노드에 대한 일반화 능력은 제한적. GCN 등의 일부 모델은 주로 transductive 설정에서 사용됨.

GraphSAGE와 다른 그래프 임베딩 기법 비교 포인트
– Node2Vec: 랜덤 워크 기반으로 노드 간 관계를 임베딩. 구조적 패턴 학습에 강점이 있으나 inductive 학습이 어려움.
– GCN: 전체 그래프의 인접 행렬을 활용하여 이웃 정보를 집계. transductive 학습에 적합하고, 메모리 사용량이 크며 미니배치 학습이 어려움.
– GraphSAGE: 샘플링 기반 이웃 집계로 미니배치 학습 가능, inductive 학습 지원, 메모리 효율적.

실제 구현 시 미니배치 학습 구조와 병렬처리 최적화
– 미니배치 학습: 각 배치에서 대상 노드와 그 이웃을 샘플링하여 연산, 대규모 그래프에서도 학습 가능.
– 병렬처리 최적화: GPU에서의 병렬 연산 활용, 이웃 샘플링의 벡터화, 데이터 로딩 병목 최소화, 여러 워커를 활용한 병렬 데이터 준비 등을 통해 학습 속도 향상.