ㅁ 최신 모델

1. Score-Based Generative Models

ㅇ 정의:
데이터의 확률 밀도 함수의 로그 그래디언트(Score Function)를 추정하여 새로운 샘플을 생성하는 확률적 생성 모델. 주로 확산(Noise) 과정을 역으로 학습하여 노이즈에서 데이터를 복원.

ㅇ 특징:
– 확률 밀도 함수의 기울기 정보를 활용.
– 노이즈 주입과 제거 과정을 반복 학습.
– Langevin Dynamics, SDE(Stochastic Differential Equations) 기반 샘플링 사용.
– GAN 대비 모드 붕괴가 적고 안정적 학습 가능.

ㅇ 적합한 경우:
– 복잡한 데이터 분포를 모델링해야 할 때.
– 고해상도 이미지 생성, 물리 시뮬레이션 데이터 복원.
– 데이터 다양성이 중요한 생성 작업.

ㅇ 시험 함정:
– Score Function은 확률 밀도 자체가 아니라 로그 확률의 기울기임.
– Diffusion Model과 유사하지만, Score-Based 모델은 SDE 관점에서 일반화 가능.
– 단순한 오토인코더 구조로 오해하기 쉬움.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Score-Based Generative Model은 데이터의 로그 확률 밀도 기울기를 추정한다.”
– O: “Langevin Dynamics는 Score-Based 샘플링에 사용될 수 있다.”
– X: “Score-Based Generative Model은 확률 밀도 함수 자체를 직접 예측한다.”
– X: “Score-Based Generative Model은 항상 GAN 구조를 기반으로 한다.”

ㅁ 추가 학습 내용

Score-Based Generative Models는 확산 모델의 일반화된 형태로, 확률적 미분 방정식(SDE)을 통해 노이즈 상태에서 데이터 상태로 변환하는 과정을 학습한다. 학습과 샘플링 과정은 Forward Process와 Reverse Process로 나뉜다. Forward Process는 데이터에 점진적으로 노이즈를 추가하여 순방향으로 진행하는 과정이고, Reverse Process는 학습된 모델을 사용해 노이즈를 제거하며 데이터를 복원하는 역방향 과정이다.

학습 기법으로는 Denoising Score Matching(DSM)과 Sliced Score Matching(SSM)이 있다. DSM은 노이즈가 추가된 데이터에서 원래 데이터로의 방향(스코어)을 예측하도록 학습하며, SSM은 고차원 데이터에서의 계산 효율성을 높이기 위해 무작위 방향으로 투영한 후 스코어를 학습하는 방식이다.

Noise Schedule은 시간에 따라 노이즈를 추가하는 양을 결정하는 설계로, 생성 품질과 학습 안정성에 직접적인 영향을 미친다.

DDPM(Denoising Diffusion Probabilistic Models)은 Score-Based Generative Models의 한 특수한 경우로, 특정한 형태의 노이즈 스케줄과 확률적 역과정을 사용한다는 점에서 차이가 있다.

고차원 데이터에서 안정적인 스코어 추정을 위해 Spectral Normalization, EMA(Exponential Moving Average) 등의 기법이 사용된다.

샘플링 시에는 Euler-Maruyama 방법이나 Predictor-Corrector 방식과 같은 수치적 SDE 해법을 활용하여 역과정을 근사적으로 계산한다.