ㅁ 핵심 개념

ㅇ 정의:
확산 모델에서 원본 데이터에 점진적으로 노이즈를 추가하여 순수한 가우시안 분포에 가까워지도록 만드는 과정. 시계열적으로 t=0(원본)에서 t=T(완전 노이즈)로 진행됨.

ㅇ 특징:
– 마르코프 체인 구조를 가지며, 각 단계에서 이전 단계의 데이터에 소량의 가우시안 노이즈를 더함.
– 파라미터가 고정되어 있으며 학습 과정에서는 주로 역방향(Reverse Process)을 학습.
– 데이터 분포를 점진적으로 파괴하여 모델이 복원 과정을 학습할 수 있도록 함.

ㅇ 적합한 경우:
– 이미지, 오디오 등 고차원 데이터를 생성하는 확산 기반 생성 모델 학습 시.
– 데이터에 점진적 변화를 주어 안정적인 학습을 유도하고자 할 때.

ㅇ 시험 함정:
– Forward Process는 학습 대상이 아니라는 점을 혼동하기 쉬움.
– 노이즈 분포를 균등분포로 착각하거나, 비가우시안 노이즈를 사용하는 것으로 오인하는 경우.
– Forward Process와 Reverse Process의 방향성 혼동.

ㅇ 시험 대비 “패턴 보기” 예시:
O: Forward Process는 데이터에 점진적으로 가우시안 노이즈를 추가하는 마르코프 과정이다.
X: Forward Process는 모델이 노이즈를 제거하는 과정을 학습하는 단계이다.

ㅁ 추가 학습 내용

Forward Process에서는 각 단계에서 데이터에 점진적으로 노이즈를 추가하는데, 이때 노이즈의 크기를 조절하는 방식이 노이즈 스케줄링이다. 대표적인 스케줄링 방식으로는 선형(linear), 코사인(cosine), 지수 감쇠(exponential decay) 등이 있으며, 스케줄링 방식에 따라 각 단계에서 추가되는 노이즈의 강도 변화 패턴이 달라진다.
노이즈 강도는 베타(beta) 파라미터에 의해 결정되는데, 베타 값이 클수록 해당 단계에서 더 많은 노이즈가 추가된다. 이는 역방향 복원 과정의 난이도에 직접적인 영향을 미치며, 베타가 너무 크면 복원이 어려워지고, 너무 작으면 학습 효율이 떨어질 수 있다.
Forward Process는 확률 분포 q(x_t | x_{t-1})로 정의되며, 초기 데이터 x_0로부터 T단계까지의 전체 분포 q(x_{1:T} | x_0)를 통해 폐형식(closed-form)으로 x_t를 직접 샘플링할 수 있다. 이는 각 단계별로 순차적으로 샘플링하지 않고도 특정 시점 t의 샘플을 바로 얻을 수 있게 해주어 계산 효율성을 높인다.