ㅁ 불확실성 추정

ㅇ 정의:
확률 모델에서 복잡한 사후분포(posterior distribution)를 근사적으로 계산하기 위해, 최적화 기반으로 단순한 분포를 찾아내는 방법.

ㅇ 특징:
– 베이지안 추론의 근사 기법 중 하나로, 샘플링 기반 MCMC보다 계산 속도가 빠름.
– 사후분포를 닫힌 형태로 계산하기 어려울 때 사용.
– 변분분포(q)를 설정하고, KL divergence를 최소화하는 방향으로 최적화.
– 딥러닝과 결합하여 Variational Autoencoder(VAE) 등에서 활용됨.

ㅇ 적합한 경우:
– 데이터 차원이 높고, MCMC 샘플링이 계산적으로 부담스러운 경우.
– 온라인 학습이나 실시간 추론이 필요한 경우.
– 모델 구조가 복잡하지만 근사 추론이 가능해야 하는 경우.

ㅇ 시험 함정:
– VI는 항상 정확한 사후분포를 보장하지 않음 → 근사 오차 존재.
– KL divergence 최소화 방향이 p→q가 아닌 q→p임을 혼동.
– MCMC와 비교 시 ‘정확도’가 아닌 ‘계산 효율성’에서 장점이 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 변분 추론은 사후분포를 직접 계산하기 어려울 때 사용한다.
O: 변분 추론은 KL 발산을 최소화하는 최적화 문제로 변환한다.
X: 변분 추론은 항상 MCMC보다 정확하다.
X: 변분 추론은 p→q 방향의 KL 발산을 최소화한다.

ㅁ 추가 학습 내용

Variational Inference(VI)의 주요 변형 기법에는 다음이 있다.
1. Mean-field approximation: 변수들 간의 독립성을 가정하여 계산을 단순화하지만, 이로 인해 근사 정확도에 한계가 발생할 수 있다.
2. Stochastic Variational Inference(SVI): 대규모 데이터셋에 적용하기 위해 확률적 최적화 기법을 사용하는 방법.
3. Black-box Variational Inference(BBVI): 모델의 구체적 구조를 몰라도 적용 가능하며, 몬테카를로 샘플링과 일반적인 그래디언트 추정 기법을 사용한다.

ELBO(Evidence Lower Bound)는 로그 주변우도(log marginal likelihood)의 하한으로, VI의 최적화 대상이다. ELBO는 다음과 같이 KL divergence와 관계가 있다.
log p(x) = ELBO + KL(q(z)||p(z|x))
따라서 ELBO를 최대화하는 것은 q(z)와 p(z|x)의 KL divergence를 최소화하는 것과 동일하다. VI에서는 q→p 방향의 KL divergence를 최소화하는데, 이는 분포 q가 p의 support 밖으로 벗어나면 무한대가 되므로 q가 p의 높은 확률 질량 영역에 맞춰지는 경향이 있기 때문이다.

Variational Autoencoder(VAE)는 VI를 신경망 구조와 결합한 모델로, 잠재 변수 모델의 학습에 사용된다. VAE 학습 과정에서 reparameterization trick을 사용하여 샘플링 과정을 미분 가능하게 만들고, gradient의 분산을 줄여 안정적인 학습을 가능하게 한다.