ㅁ 핵심 원리

1. Reparameterization Trick

ㅇ 정의:
– 확률 분포에서 샘플링하는 과정을 미분 가능하게 만들기 위해 확률 변수 z를 평균과 표준편차, 그리고 표준 정규분포에서 뽑은 ε로 재표현하는 기법.

ㅇ 특징:
– z = μ + σ * ε 형태로 표현하여 역전파가 가능.
– VAE 학습에서 잠재 변수 샘플링의 불연속성을 해결.

ㅇ 적합한 경우:
– 변분 오토인코더 학습 시 잠재 변수의 확률적 성질을 유지하면서도 경사 하강법 적용이 필요한 경우.

ㅇ 시험 함정:
– 단순히 샘플링을 다시 하는 것이 아니라, 미분 가능성을 확보하는 방법임.
– ε는 학습 파라미터가 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “VAE에서 z를 μ와 σ, 그리고 표준정규분포 샘플로 표현하여 미분 가능하게 하는 기법은?”
– X: “VAE에서 z를 μ와 σ로만 표현하는 기법은?”

2. KL Divergence

ㅇ 정의:
– 두 확률 분포 P와 Q의 차이를 비대칭적으로 측정하는 값.

ㅇ 특징:
– VAE에서는 인코더가 만든 잠재 분포와 표준 정규분포의 차이를 최소화하는 항으로 사용.
– 항상 0 이상의 값을 가짐.

ㅇ 적합한 경우:
– 모델이 특정 분포를 따르도록 정규화하고 싶을 때.

ㅇ 시험 함정:
– 대칭적 척도가 아님.
– 0이면 두 분포가 동일함.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “VAE에서 잠재 변수 분포를 표준 정규분포로 유도하기 위해 사용하는 항은?”
– X: “KL Divergence는 항상 대칭적이다. (O/X)”

3. Reconstruction Loss

ㅇ 정의:
– 입력 데이터를 복원한 결과와 원본 데이터 간의 차이를 측정하는 손실.

ㅇ 특징:
– MSE, Cross-Entropy 등 데이터 특성에 맞는 척도를 사용.
– 입력 데이터의 재현성을 높이는 역할.

ㅇ 적합한 경우:
– 오토인코더 구조에서 입력과 출력의 유사성을 극대화하고자 할 때.

ㅇ 시험 함정:
– VAE의 Reconstruction Loss는 단순한 재구성 오차가 아니라 확률적 해석을 포함할 수 있음.
– 데이터 타입에 따라 손실 함수 선택이 달라짐.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “VAE에서 입력과 복원 결과의 차이를 줄이기 위해 사용하는 손실은?”
– X: “Reconstruction Loss는 항상 MSE를 사용한다. (O/X)”

ㅁ 추가 학습 내용

VAE의 학습 목표는 Evidence Lower Bound(ELBO)를 최대화하는 것이다.
ELBO는 Reconstruction Loss와 KL Divergence의 합으로 표현된다.
Reparameterization Trick은 Monte Carlo 샘플링의 분산을 줄이고, 미분 가능성을 확보하는 핵심 기법이다.
KL Divergence는 Information Gain, Cross Entropy와의 관계를 이해해야 하며, VAE에서는 Prior(표준 정규분포)와 Posterior(인코더 출력 분포)의 차이를 줄이는 역할을 한다.
Reconstruction Loss는 데이터 특성에 따라 선택해야 하며, 연속형 데이터에는 MSE, 이산형 데이터에는 Binary Cross-Entropy 등을 사용한다. 이 선택은 모델 성능에 직접적인 영향을 미친다.
시험에서는 ELBO 구성식, KL 항의 수식 형태, 그리고 Reparameterization Trick 수식(z = μ + σ·ε)이 자주 출제된다.