ㅁ 특징 및 문제점

1. 모드 붕괴(Mode Collapse)

ㅇ 정의:
GAN 학습 과정에서 생성기가 일부 데이터 패턴(모드)에만 집중하여 다양한 출력을 생성하지 못하고 제한된 형태의 샘플만 생성하는 현상.

ㅇ 특징:
– 생성 결과의 다양성이 떨어짐
– 특정 입력 벡터가 다른 벡터와 거의 동일한 출력으로 매핑됨
– 판별기가 반복적으로 속는 패턴을 생성기가 학습

ㅇ 적합한 경우:
– 실제로는 피해야 하는 현상으로 적합한 경우 없음

ㅇ 시험 함정:
– ‘모드 붕괴는 GAN의 장점 중 하나이다’ → X
– ‘모드 붕괴는 생성 결과의 다양성을 높인다’ → X

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “GAN 학습 중 일부 모드만 생성되는 문제를 모드 붕괴라 한다.”
– X: “모드 붕괴는 데이터의 모든 분포를 잘 학습하는 현상이다.”

================================

2. 재매개화 기법(Reparameterization Trick)

ㅇ 정의:
확률 변수 샘플링 과정을 미분 가능하게 변환하여 VAE 학습 시 역전파가 가능하도록 하는 기법.

ㅇ 특징:
– z = μ + σ * ε 형태로 표현 (ε ~ N(0,1))
– 확률적 샘플링을 결정론적 연산과 노이즈로 분리
– VAE의 잠재 변수 학습에 필수적

ㅇ 적합한 경우:
– VAE와 같이 확률적 잠재 변수를 학습해야 하는 모델

ㅇ 시험 함정:
– ‘재매개화 기법은 GAN에서만 사용된다’ → X
– ‘재매개화 기법은 역전파를 불가능하게 한다’ → X

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “VAE에서 잠재 변수 샘플링을 미분 가능하게 만드는 기법은 재매개화 기법이다.”
– X: “재매개화 기법은 확률 변수를 직접 샘플링하여 미분 불가능하게 만든다.”

================================

3. KL Divergence

ㅇ 정의:
두 확률 분포 P와 Q의 차이를 비대칭적으로 측정하는 지표.

ㅇ 특징:
– KL(P||Q) ≠ KL(Q||P)
– 값이 0이면 두 분포가 동일함
– VAE 학습에서 잠재 분포를 정규분포에 가깝게 만들기 위해 사용

ㅇ 적합한 경우:
– 분포 간 차이를 정량적으로 평가할 때
– 확률 모델의 정규화 제약

ㅇ 시험 함정:
– ‘KL Divergence는 항상 대칭적이다’ → X
– ‘KL Divergence 값이 작을수록 두 분포가 유사하다’ → O

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “VAE에서 잠재 변수 분포를 정규분포로 근사하기 위해 KL Divergence를 사용한다.”
– X: “KL Divergence는 두 분포가 같을수록 값이 커진다.”

================================

4. Reconstruction Loss

ㅇ 정의:
입력 데이터를 모델이 재구성한 출력과 비교하여 손실을 계산하는 지표.

ㅇ 특징:
– MSE, Cross-Entropy 등으로 계산 가능
– 입력과 출력의 유사성을 높이는 방향으로 학습
– VAE, Autoencoder 학습의 핵심 구성 요소

ㅇ 적합한 경우:
– 입력 재구성이 중요한 모델 (Autoencoder, VAE)

ㅇ 시험 함정:
– ‘Reconstruction Loss는 입력과 출력의 차이를 최소화하려는 목적이다’ → O
– ‘Reconstruction Loss는 분포 간 차이만 측정한다’ → X

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Autoencoder에서 입력과 출력의 차이를 줄이기 위해 사용하는 손실은 Reconstruction Loss이다.”
– X: “Reconstruction Loss는 KL Divergence와 동일한 개념이다.”
================================

ㅁ 추가 학습 내용

GAN 관련 학습 시 모드 붕괴 외에도 학습 불안정성, 판별기와 생성기 간의 균형 문제, Gradient Vanishing 현상 등을 함께 이해해야 한다.
VAE의 경우 재매개화 기법과 ELBO(Evidence Lower Bound) 공식을 익히고, KL Divergence와 Reconstruction Loss가 결합된 구조를 이해해야 한다.
KL Divergence는 Jensen-Shannon Divergence와 비교하여 대칭성 여부와 값의 범위를 구분할 수 있어야 한다.
Reconstruction Loss는 데이터 유형에 따라 MSE, BCE, Cross-Entropy 등으로 구현될 수 있으며, 이미지나 텍스트 등 각 데이터 유형별 적용 예시를 숙지하는 것이 중요하다.