ㅁ 핵심 원리

ㅇ 정의:
확률 분포 간의 유사성을 측정하는 지표로, 두 분포가 얼마나 다른지를 나타내는 값. 주로 VAE에서 잠재 공간의 분포를 정규 분포와 가깝게 만드는 데 사용됨.

ㅇ 특징:
– 비대칭적 특성을 가짐 (KL(P||Q) ≠ KL(Q||P))
– 값이 0에 가까울수록 두 분포가 유사함을 의미
– 계산이 간단하며 확률 분포를 비교하는 데 효과적

ㅇ 적합한 경우:
– 생성 모델에서 잠재 공간의 분포를 정규화할 때
– 확률 분포 간 차이를 최소화하는 최적화 과정에서

ㅇ 시험 함정:
– KL Divergence와 JS Divergence의 차이를 혼동할 수 있음
– 비대칭적 특성을 간과하여 계산 실수를 유발할 수 있음

ㅇ 시험 대비 “패턴 보기” 예시:
1. KL Divergence는 두 확률 분포 간의 대칭적 차이를 측정한다. (X)
2. KL Divergence 값이 0에 가까울수록 두 분포는 유사하다. (O)
3. KL(P||Q)와 KL(Q||P)는 항상 동일한 값을 가진다. (X)

===============================

1. KL Divergence

ㅇ 정의:
두 확률 분포 P와 Q 간의 차이를 측정하는 비대칭적 지표로, P 분포가 Q 분포와 얼마나 다른지를 나타냄.

ㅇ 특징:
– 비대칭적 특성 (KL(P||Q) ≠ KL(Q||P))
– 로그 함수를 사용하여 계산
– 값이 0에 가까울수록 두 분포가 유사함을 나타냄

ㅇ 적합한 경우:
– VAE에서 잠재 공간의 분포를 정규 분포로 정렬할 때
– 머신러닝 모델에서 확률 분포 비교가 필요한 경우

ㅇ 시험 함정:
– KL Divergence와 JS Divergence의 개념을 혼동할 가능성
– 비대칭적 특성을 무시하고 계산 실수를 범할 가능성

ㅇ 시험 대비 “패턴 보기” 예시:
1. KL Divergence는 두 분포 간의 비대칭적 차이를 측정한다. (O)
2. KL Divergence는 항상 0 이상의 값을 가진다. (O)
3. KL(P||Q)와 KL(Q||P)는 동일한 값을 가진다. (X)

ㅁ 추가 학습 내용

KL Divergence와 JS Divergence에 대해 시험 대비를 위해 알아야 할 내용을 다음과 같이 정리합니다.

1. KL Divergence와 JS Divergence의 정의와 차이점:
– KL Divergence(Kullback-Leibler Divergence)는 두 확률 분포 P와 Q 간의 차이를 측정하는 비대칭적인 척도이다. P가 실제 분포이고 Q가 근사 분포일 때, KL Divergence는 Q가 P를 얼마나 잘 설명하는지를 나타낸다.
– JS Divergence(Jensen-Shannon Divergence)는 KL Divergence를 기반으로 한 대칭적인 척도로, 두 분포의 평균 분포(M = (P + Q) / 2)를 활용하여 KL Divergence를 계산한다. JS Divergence는 항상 유한한 값을 가지며, 두 분포 간의 차이를 대칭적으로 측정한다.

2. 비대칭성과 대칭성:
– KL Divergence는 비대칭적이어서 D_KL(P || Q) ≠ D_KL(Q || P)이다.
– JS Divergence는 대칭적이어서 D_JS(P || Q) = D_JS(Q || P)이다.

3. KL Divergence의 응용 사례:
– KL Divergence는 머신러닝과 정보 이론에서 자주 사용된다. 특히, 분포 간 차이를 최소화하는 문제에서 활용된다.
– 예를 들어, GAN(Generative Adversarial Networks)에서 KL Divergence는 생성된 데이터 분포와 실제 데이터 분포 간의 차이를 측정하는 데 사용된다. GAN의 목표는 이 차이를 최소화하여 생성 모델이 실제 데이터를 잘 모방하도록 학습시키는 것이다.

4. 최적화 알고리즘과의 연관성:
– KL Divergence는 최적화 알고리즘에서 손실 함수로 사용된다. 예를 들어, 변분 추론(Variational Inference)에서는 KL Divergence를 최소화하여 근사 분포가 실제 분포에 가까워지도록 한다.
– GAN에서는 KL Divergence 외에도 JS Divergence와 같은 다른 척도를 사용하여 분포 간 차이를 측정하고 이를 기반으로 최적화 과정을 진행한다.

이 내용을 바탕으로 KL Divergence와 JS Divergence의 개념, 차이점, 응용 사례, 그리고 최적화 알고리즘과의 연관성을 명확히 이해하는 것이 중요합니다.