ㅁ 그래프 신경망 최적화

ㅇ 정의:
그래프 구조 데이터를 처리할 때, 서로 다른 그래프를 구분하는 능력을 극대화하기 위해 설계된 GNN 아키텍처 중 하나로, Weisfeiler-Lehman 그래프 동형성 테스트의 강력함을 모델링한 네트워크.

ㅇ 특징:
– 노드 특성 집계 시 단순 합(sum) 연산을 사용하여 표현력을 높임.
– 학습 가능한 MLP를 집계 후 적용하여 비선형성을 확보.
– 그래프 분류 작업에서 높은 성능을 보임.
– 파라미터 ε을 통해 자기 노드 정보 비중 조절 가능.

ㅇ 적합한 경우:
– 화합물 구조 분석, 소셜 네트워크 분석 등 그래프 동형성 판별이 중요한 문제.
– 노드 간 특징 차이를 미세하게 반영해야 하는 경우.

ㅇ 시험 함정:
– GIN은 평균(mean)이나 최대(max) 풀링을 사용하는 것이 특징이라는 오답 유도 → 실제로는 합(sum) 집계를 사용.
– GIN은 GCN보다 파라미터 수가 적다는 설명 → 실제로는 MLP 사용으로 파라미터가 더 많을 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “GIN은 Weisfeiler-Lehman 테스트의 아이디어를 차용하여 그래프 구분 능력을 강화한다.”
X: “GIN은 노드 집계에 평균 연산을 사용하여 표현력을 높인다.”

ㅁ 추가 학습 내용

Weisfeiler-Lehman 테스트는 그래프 동형성 판별을 위해 색 재귀(color refinement) 방식을 사용하는 알고리즘이다. 각 노드의 색(레이블)을 이웃 노드들의 색 분포와 결합하여 반복적으로 갱신함으로써 그래프를 구분한다. 그러나 특정한 비동형 그래프들이 동일한 색 패턴을 유지하여 구분되지 않는 한계가 있다.

GIN(Graph Isomorphism Network)의 핵심 수식은 다음과 같다.
h_v^(k) = MLP^(k)((1 + ε^(k)) · h_v^(k-1) + Σ_{u∈N(v)} h_u^(k-1))
여기서 ε은 노드 자신의 표현을 얼마나 반영할지를 조절하는 파라미터로, 학습 가능하게 설정하면 데이터에 맞춰 최적화되어 성능 향상을 기대할 수 있으나 학습 난이도가 증가할 수 있다. 고정값을 사용하면 안정성이 높아지고 과적합 위험이 줄어들 수 있으나, 데이터 특성에 맞춘 세밀한 조정은 어렵다.

GIN은 GCN, GraphSAGE, GAT와 비교했을 때 집계 함수가 단순 합(Sum Aggregation)이며, MLP를 통한 강한 표현력을 가진다. GCN은 평균 집계, GraphSAGE는 샘플링 기반 집계, GAT는 주의(attention) 가중 합을 사용한다. 파라미터 구조와 학습 안정성 측면에서 GIN은 이론적으로 WL 테스트와 동등한 구분력을 가지지만, 파라미터 수가 많아 과적합 위험이 있다.

실제 데이터셋 벤치마크에서 GIN은 CIFAR10, MUTAG 등 다양한 그래프 분류 과제에서 높은 정확도를 보인다. 특히 화학 분자 그래프 분류(MUTAG)에서 우수한 성능을 보였으나, CIFAR10과 같은 이미지 기반 그래프 변환 데이터에서는 다른 모델과 비슷하거나 약간 우위에 있는 경우가 많다.

과적합 방지를 위해 Dropout을 MLP의 은닉층에 적용하고, Batch Normalization을 각 레이어의 출력을 정규화하는 방식으로 사용한다. Dropout은 노드 임베딩 학습 시 무작위로 일부 뉴런을 비활성화하여 일반화 성능을 높이고, BatchNorm은 학습 안정성과 수렴 속도를 개선한다.