ㅁ 에너지 기반 모델

ㅇ 정의:
확률 분포를 에너지 함수 형태로 정의하고, 낮은 에너지 값을 가지는 데이터 패턴을 학습하여 생성 및 예측에 활용하는 모델 구조.

ㅇ 특징:
– 데이터의 확률 분포를 직접 추정하지 않고 에너지 함수를 통해 간접적으로 모델링.
– 생성, 밀도 추정, 이상 탐지 등 다양한 작업에 활용 가능.
– 학습 시 정규화 상수를 계산하기 어렵기 때문에 근사 기법 사용.

ㅇ 적합한 경우:
– 복잡한 데이터 분포를 모델링해야 하는 경우.
– 노이즈 제거, 데이터 생성, 이상 탐지 등 다양한 생성 기반 작업.

ㅇ 시험 함정:
– 에너지 기반 모델은 항상 명시적 확률을 계산할 수 있다고 착각하기 쉬움(X)
– 학습 안정성을 위해 샘플링 기법이 필요하다는 점을 간과하기 쉬움(O)

ㅇ 시험 대비 “패턴 보기” 예시:
– “에너지 기반 모델은 정규화 상수를 쉽게 계산할 수 있다” → X
– “에너지 기반 모델은 생성 모델로 활용될 수 있다” → O

================================

1. Diffusion

ㅇ 정의:
데이터에 점진적으로 노이즈를 추가하고, 이를 역과정(reverse process)으로 복원하는 과정을 학습하여 새로운 데이터를 생성하는 확률적 생성 모델.

ㅇ 특징:
– 순방향 과정: 데이터 → 점차적으로 가우시안 노이즈 추가.
– 역방향 과정: 노이즈 → 데이터로 복원.
– 학습 안정성이 높고 다양한 데이터 유형에 적용 가능.
– 고품질 이미지 생성에서 우수한 성능.

ㅇ 적합한 경우:
– 고해상도 이미지 생성.
– 노이즈 제거 및 이미지 복원.
– 데이터 다양성이 중요한 생성 작업.

ㅇ 시험 함정:
– Diffusion 모델은 단일 단계에서 이미지를 생성한다고 오해(X)
– 순방향 과정은 노이즈를 추가하는 방향임(O)

ㅇ 시험 대비 “패턴 보기” 예시:
– “Diffusion 모델의 역방향 과정은 노이즈를 제거하는 과정이다” → O
– “Diffusion 모델은 GAN보다 모드 붕괴 문제가 심하다” → X

ㅁ 추가 학습 내용

Diffusion 모델 추가 학습 정리

1. Variance schedule(β 스케줄)
노이즈를 시간 단계별로 얼마나 강하게 추가할지를 조절하는 방식으로, 모델의 학습 안정성과 생성 품질에 큰 영향을 미친다. β 값의 증가 패턴(선형, 코사인 등)에 따라 결과가 달라진다.

2. DDPM과 DDIM의 차이
DDPM(Denoising Diffusion Probabilistic Models)은 확률적 경로를 따라 샘플링하며, 품질은 높지만 속도가 느리다.
DDIM(Denoising Diffusion Implicit Models)은 비확률적 경로를 사용해 샘플링 속도를 높이며, 적은 단계로도 결과를 생성할 수 있다.

3. Sampling step trade-off
샘플링 단계 수가 많을수록 노이즈 제거 과정이 세밀해져 품질이 좋아지지만, 연산 시간이 길어진다.
단계 수를 줄이면 속도는 빨라지나 품질이 저하될 수 있다.

4. Classifier-free guidance
조건부 생성에서 조건 신호가 없이도 가이던스를 강화하는 기법으로, 조건 없는 샘플과 조건 있는 샘플을 함께 학습해 조건 효과를 조절할 수 있다.

5. 에너지 기반 모델과의 관계
Diffusion 모델의 역방향 과정은 데이터 분포의 에너지 함수 기울기를 추정하는 과정과 유사하게 해석할 수 있다.
이는 확률 밀도 추정과 샘플링의 관점에서 두 모델 간의 연결고리를 제공한다.

6. 실제 응용 사례
Stable Diffusion, Imagen, DALL·E 2 등 최신 이미지 생성 모델들이 Diffusion 모델 원리를 채택하여 고품질 이미지를 생성하고 있다.