ㅁ 핵심 개념

ㅇ 정의:
확산 모델에서 데이터를 점진적으로 노이즈를 추가하여 완전히 무작위 상태로 만드는 과정.

ㅇ 특징:
– 데이터의 원래 구조를 점진적으로 파괴함.
– 각 단계에서 작은 양의 노이즈를 추가하며, 전체 과정은 마르코프 체인을 따름.
– 최종적으로 균등 분포 또는 가우시안 분포에 근접한 상태로 변환됨.

ㅇ 적합한 경우:
– 생성 모델에서 데이터 분포를 이해하고 학습시키기 위한 초기 단계로 사용될 때.
– 복잡한 데이터 구조를 단순화하고, 역방향 생성 과정을 학습할 때.

ㅇ 시험 함정:
– Forward Process가 단순히 노이즈 추가 과정으로만 설명될 수 있음.
– 마르코프 체인의 특성을 간과하거나, 각 단계가 독립적이지 않다고 오해할 가능성.

ㅇ 시험 대비 “패턴 보기” 예시:
1. Forward Process는 데이터를 점진적으로 복원하는 과정이다. (X)
2. Forward Process는 데이터를 점진적으로 노이즈를 추가하여 무작위 상태로 만드는 과정이다. (O)

ㅁ 추가 학습 내용

Forward Process의 수학적 표현식과 노이즈 추가 방식에 대해 학습하기 위해 다음 내용을 정리합니다.

1. **Forward Process의 개요**:
– Forward Process는 데이터에 점진적으로 노이즈를 추가하는 과정을 말하며, 주로 가우시안 노이즈를 사용합니다.
– 이 과정은 원본 데이터 분포를 점점 더 랜덤한 분포로 변형하여, 최종적으로는 완전한 노이즈 분포에 도달하도록 설계됩니다.

2. **수학적 표현식**:
– Forward Process는 데이터 샘플 x_0에 대해 t번째 단계에서 x_t를 생성하는 방식으로 표현됩니다.
– x_t ≈ sqrt(1 – β_t) * x_(t-1) + sqrt(β_t) * ε
여기서:
– β_t: t번째 단계에서의 노이즈 스케일링 파라미터(작은 값으로 설정됨).
– ε: 평균이 0이고 분산이 1인 가우시안 노이즈(ε ∼ N(0, I)).

3. **노이즈 추가 방식**:
– 각 단계에서 노이즈는 가우시안 분포를 따르며, β_t는 노이즈의 강도를 결정합니다.
– β_t는 일반적으로 시간 t에 따라 증가하도록 설계되어, 초기 단계에서는 원본 데이터에 적은 영향을 미치고 후반 단계에서는 더 많은 노이즈를 추가합니다.

4. **가우시안 분포와 파라미터의 역할**:
– 가우시안 분포는 확률 밀도가 평균(μ)과 분산(σ^2)에 의해 결정됩니다.
– Forward Process에서는 μ = 0, σ^2 = 1인 표준 가우시안 분포를 사용하여 노이즈를 생성합니다.
– β_t는 σ^2의 비율을 조정하여 노이즈의 크기를 단계적으로 조절합니다.

5. **누적 표현식**:
– Forward Process는 누적된 형태로도 나타낼 수 있습니다.
– x_t ≈ sqrt(α_t) * x_0 + sqrt(1 – α_t) * ε
여기서 α_t = ∏(1 – β_i) (i=1부터 t까지의 곱).
– 이 식은 t 단계까지의 모든 노이즈 추가 과정을 하나의 표현식으로 나타낸 것입니다.

6. **시험 대비 학습 팁**:
– Forward Process의 각 단계에서 β_t와 ε의 역할을 명확히 이해해야 합니다.
– 수학적 표현식의 유도 과정을 연습하여, 단계별로 노이즈가 추가되는 방식을 체계적으로 파악하세요.
– 가우시안 분포의 기본 성질(평균, 분산, 표준편차 등)을 복습하여 노이즈 모델링에 대한 이해를 강화하세요.