ㅁ 확률적 그래픽 모델

ㅇ 정의:
확률적 그래픽 모델은 확률 이론과 그래프 이론을 결합하여 데이터의 확률적 구조를 표현하고 추론하는 모델이다.

ㅇ 특징:
데이터 간의 의존성을 시각적으로 표현 가능하며, 조건부 독립성을 명확히 정의할 수 있다. 확률 분포를 효율적으로 계산할 수 있도록 설계된다.

ㅇ 적합한 경우:
복잡한 데이터 간의 관계를 모델링하거나, 조건부 확률을 계산해야 하는 문제에 적합하다.

ㅇ 시험 함정:
그래프 구조와 확률적 개념을 혼동하기 쉬움. 특히 조건부 독립성의 정의를 잘못 이해할 가능성이 높다.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 확률적 그래픽 모델은 데이터 간의 관계를 그래프 구조로 표현한다.
X: 확률적 그래픽 모델은 항상 비선형 관계를 모델링한다.

================================

1. Diffusion Probabilistic Model

ㅇ 정의:
확률적 그래픽 모델의 한 유형으로, 데이터의 생성 과정을 확률적 확산(diffusion) 과정으로 표현하여 학습하는 모델이다. 주로 이미지 생성과 같은 생성 모델에 사용된다.

ㅇ 특징:
데이터의 점진적인 노이즈 추가 및 제거 과정을 통해 학습하며, 안정적인 훈련과 높은 품질의 생성 결과를 제공한다. 계산 비용이 높을 수 있다.

ㅇ 적합한 경우:
고품질의 생성 모델이 필요한 경우, 특히 이미지 생성, 음성 합성, 텍스트 생성 등에서 유용하다.

ㅇ 시험 함정:
Diffusion 과정과 일반적인 최적화 알고리즘의 차이를 혼동할 수 있음. 노이즈의 추가와 제거 과정의 목적을 이해하지 못하는 경우 오답을 선택할 가능성이 높다.

ㅇ 시험 대비 “패턴 보기” 예시:
O: Diffusion Probabilistic Model은 노이즈를 점진적으로 추가하고 제거하는 과정을 통해 데이터를 생성한다.
X: Diffusion Probabilistic Model은 항상 데이터의 노이즈를 제거하는 데만 사용된다.

ㅁ 추가 학습 내용

Diffusion Probabilistic Model에서 학습 과정의 주요 단계와 관련된 내용을 다음과 같이 정리할 수 있습니다:

1. **Forward Process (노이즈 추가)**
– 이 과정은 데이터에 점진적으로 노이즈를 추가하여 데이터를 점점 더 무작위적인 분포로 변형시키는 과정입니다.
– 수학적으로, 이 과정은 마르코프 체인(Markov Chain)을 통해 이루어지며, 각 단계에서 데이터에 정규 분포 형태의 노이즈가 추가됩니다.
– 데이터 x_0에서 시작하여 t번째 단계의 데이터 x_t는 다음과 같은 방식으로 표현됩니다:
x_t = sqrt(1 – β_t) * x_(t-1) + sqrt(β_t) * ε
여기서 β_t는 각 단계에서의 노이즈 강도를 나타내는 스케줄 파라미터이며, ε는 평균이 0이고 분산이 1인 가우시안 노이즈입니다.
– 이 과정을 통해 최종 단계에서는 데이터가 거의 순수한 가우시안 노이즈 분포로 변환됩니다.

2. **Reverse Process (노이즈 제거)**
– Reverse Process는 Forward Process를 역으로 수행하여 노이즈가 추가된 데이터 x_T를 점진적으로 원본 데이터 분포로 복원하는 과정입니다.
– 이는 확률적 모델링을 통해 수행되며, 각 단계에서 조건부 확률 p(x_(t-1) | x_t)를 학습합니다.
– 학습된 네트워크는 노이즈를 제거하는 데 사용되며, 이 과정 역시 마르코프 체인으로 표현됩니다.
– Reverse Process의 목표는 Forward Process를 통해 손실된 정보를 복원하고, 최종적으로 원래의 데이터 분포를 재구성하는 것입니다.

3. **수학적 배경**
– Forward Process는 데이터 분포를 점진적으로 가우시안 분포로 변환하는 마르코프 체인으로 정의됩니다.
– Reverse Process는 Variational Inference를 활용하여 Forward Process의 역 과정을 근사합니다.
– Reverse Process에서 조건부 확률 p(x_(t-1) | x_t)는 직접 계산하기 어렵기 때문에, 이를 근사하기 위해 학습 가능한 모델 q(x_(t-1) | x_t)를 사용합니다.
– 이 과정에서 증분 KL 다이버전스를 최소화하는 방식으로 최적화가 이루어집니다.

4. **Variational Inference와의 연관성**
– Variational Inference는 복잡한 확률 분포를 근사하는 데 사용되는 기법으로, Diffusion Probabilistic Model에서 Reverse Process를 학습하는 데 활용됩니다.
– Forward Process와 Reverse Process 간의 KL 다이버전스를 최소화하는 것이 핵심 목표입니다.
– 이를 통해 모델은 Forward Process의 역 과정을 잘 근사할 수 있도록 학습됩니다.

5. **다른 생성 모델과의 차이점**
– **GAN (Generative Adversarial Network)**: GAN은 생성자(Generator)와 판별자(Discriminator) 간의 경쟁을 통해 데이터를 생성합니다. Diffusion Probabilistic Model은 GAN과 달리 명시적인 확률 모델을 사용하며, 학습이 안정적이고 모드 붕괴 문제가 적습니다.
– **VAE (Variational Autoencoder)**: VAE는 데이터 분포를 잠재 공간(latent space)으로 매핑하여 데이터를 생성합니다. Diffusion Probabilistic Model은 VAE와 유사하게 Variational Inference를 활용하지만, 노이즈 추가와 제거라는 독특한 접근 방식을 사용합니다.
– Diffusion Probabilistic Model은 GAN이나 VAE보다 계산 비용이 높을 수 있지만, 고품질의 샘플을 생성하는 데 강점을 가집니다.

이러한 내용을 바탕으로 Diffusion Probabilistic Model의 Forward Process와 Reverse Process, Variational Inference의 역할, 그리고 다른 생성 모델과의 차이점을 체계적으로 이해하는 것이 시험 대비에 유용합니다.