ㅁ 핵심 원리

ㅇ 정의:
– Reparameterization Trick은 확률적 샘플링 과정을 미분 가능하게 변환하여 VAE 학습 시 역전파가 가능하도록 하는 기법이다. 구체적으로, 잠재 변수 z를 직접 샘플링하지 않고, 평균(mu)과 표준편차(sigma)를 이용해 z = mu + sigma * epsilon (epsilon ~ N(0,1)) 형태로 표현한다.

ㅇ 특징:
– 확률적 노이즈를 분리하여 신경망 파라미터에 대한 미분 가능성을 확보한다.
– 학습의 안정성과 효율성을 높인다.
– VAE의 핵심 구성 요소로, 잠재 공간의 연속성을 보장한다.

ㅇ 적합한 경우:
– 변분 오토인코더(VAE)와 같이 확률적 잠재 변수 모델을 학습할 때.
– 샘플링 과정이 포함되지만 학습을 위해 미분 가능한 형태가 필요한 경우.

ㅇ 시험 함정:
– 단순히 ‘샘플링 기법’이라고만 이해하면 오답. 핵심은 ‘미분 가능하게 만드는 변환’임.
– epsilon의 분포를 잘못 기재하는 경우(N(0,1) 아님).
– z = mu * sigma + epsilon 형태로 잘못 쓰는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “VAE에서 역전파를 가능하게 하기 위해 잠재 변수 샘플링을 평균과 표준편차, 표준정규분포 노이즈로 표현하는 기법”
– X: “VAE에서 샘플링 속도를 높이기 위해 사용하는 기법”
– X: “epsilon은 평균 0, 분산 sigma^2의 정규분포를 따른다”

ㅁ 추가 학습 내용

Reparameterization Trick은 Monte Carlo 추정과 결합되어 ELBO를 근사하는 데 사용된다. 이 기법은 연속형 잠재 변수에 적합하며, 이산형 잠재 변수의 경우 Gumbel-Softmax Trick과 같은 대체 기법이 필요하다. 직접 샘플링을 사용할 수 없는 이유는 샘플링 연산이 비미분 가능하여 역전파가 불가능하기 때문이다. Reparameterization Trick에서는 epsilon의 분포가 표준정규분포이며, mu와 sigma는 인코더 네트워크의 출력이라는 점이 중요하다.