ㅁ 핵심 개념

ㅇ 정의:
– Noise Prediction은 확산 모델(Diffusion Model)에서 주어진 시점의 노이즈가 섞인 데이터로부터 원래 데이터나 노이즈 성분을 예측하는 과정을 의미한다.
– 주로 U-Net과 같은 신경망 구조를 사용하여 입력 이미지의 노이즈 패턴을 추정한다.

ㅇ 특징:
– 학습 시, 정해진 시간 스텝 t에서 입력 데이터에 가우시안 노이즈를 주입한 후 해당 노이즈를 예측하도록 모델을 훈련한다.
– 노이즈 예측 정확도가 높을수록 역확산(reverse diffusion) 과정에서 더 선명하고 원본에 가까운 이미지를 복원할 수 있다.
– 시간 스텝별로 다른 노이즈 분포 특성을 학습해야 하므로, 타임 스텝 임베딩(time step embedding)을 활용한다.

ㅇ 적합한 경우:
– 이미지 생성, 복원, 초해상도(super-resolution) 등에서 고품질 출력이 필요한 경우
– 노이즈 제거 성능이 전체 모델 성능의 핵심인 경우

ㅇ 시험 함정:
– “Noise Prediction”은 원본 데이터를 직접 예측하는 것이 아니라, 주입된 노이즈 벡터를 예측하는 방식임을 혼동하기 쉽다 (X: 원본 데이터 예측, O: 노이즈 예측)
– 확산 모델의 학습과정은 forward process(노이즈 주입)와 reverse process(노이즈 제거)로 구성됨을 구분해야 한다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Noise Prediction은 주어진 시점의 노이즈를 추정하여 역확산 과정에서 원본 데이터를 복원하는 핵심 단계이다.”
– X: “Noise Prediction은 원본 이미지를 직접 예측하는 단계이다.”

ㅁ 추가 학습 내용

Noise Prediction 관련 핵심 정리

1. DDPM과 DDIM에서의 Noise Prediction 역할 차이
– DDPM은 확률적 샘플링 기반으로 매 스텝마다 노이즈를 예측하며, 많은 스텝이 필요하다.
– DDIM은 deterministic sampling을 사용하여 더 적은 스텝에서도 노이즈 예측이 가능하다.

2. Epsilon-parameterization과 X0-parameterization
– Epsilon-parameterization: 노이즈(ε)를 직접 예측하는 방식.
– X0-parameterization: 원본 데이터(x0)를 예측하도록 변환하여 학습하는 방식.

3. 손실 함수의 영향
– L2 loss, Huber loss 등 다양한 손실 함수가 사용되며, 선택에 따라 노이즈 예측 성능과 결과 품질이 달라진다.

4. Classifier-free guidance에서의 활용
– 조건부 예측과 비조건부 예측을 혼합하여 노이즈를 예측함으로써 생성 결과의 조건 반영 정도를 조절한다.

5. Timestep 스케줄링의 영향
– 선형, 코사인 등 다양한 스케줄링 방식이 있으며, 이는 노이즈 예측 난이도와 최종 결과 품질에 직접적인 영향을 준다.