ㅁ 학습 및 생성 과정

ㅇ 정의:
확산 모델에서 데이터에 점진적으로 노이즈를 추가하고, 이를 역으로 제거하여 원본 데이터를 복원하는 전체 절차.

ㅇ 특징:
데이터 분포를 점진적으로 파괴하고 재구성하는 과정을 통해 안정적인 생성 품질 확보.

ㅇ 적합한 경우:
이미지, 오디오, 3D 데이터 등 복잡한 분포를 가진 데이터 생성.

ㅇ 시험 함정:
Forward와 Backward 과정의 방향 혼동, 노이즈 스케줄 개념 누락.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Forward Process는 데이터에 노이즈를 점진적으로 추가하는 과정이다.”
X: “Backward Process는 데이터에 노이즈를 추가하는 과정이다.”

================================

1. Forward/Backward Process

ㅇ 정의:
Forward Process는 원본 데이터에 일정 스텝마다 노이즈를 추가하는 과정이며, Backward Process는 해당 노이즈를 단계적으로 제거하여 원본 또는 새로운 데이터를 생성하는 과정.

ㅇ 특징:
Forward는 확률적으로 단순한 가우시안 노이즈 추가, Backward는 학습된 신경망을 통한 노이즈 예측 및 제거.

ㅇ 적합한 경우:
데이터 생성 품질을 높이고자 할 때, 안정적인 학습이 필요한 경우.

ㅇ 시험 함정:
Forward를 생성 과정, Backward를 학습 과정으로 오해하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Backward Process는 학습된 모델을 사용해 노이즈를 제거하는 과정이다.”
X: “Forward Process는 원본 데이터를 복원하는 과정이다.”

================================

2. 노이즈 가중치

ㅇ 정의:
각 스텝에서 추가되는 노이즈의 크기를 조절하는 계수로, 시간 스텝에 따라 변화하는 스케줄을 가짐.

ㅇ 특징:
초기에는 작은 노이즈, 후반에는 큰 노이즈를 추가하거나 그 반대의 스케줄을 적용 가능.

ㅇ 적합한 경우:
데이터 분포 특성에 맞춰 학습 안정성과 생성 품질을 조절할 때.

ㅇ 시험 함정:
노이즈 가중치를 일정하게 유지하는 것이 항상 최적이라고 생각하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “노이즈 가중치는 스텝마다 다르게 설정될 수 있다.”
X: “노이즈 가중치는 항상 일정해야 한다.”

================================

3. 복원 기반 학습

ㅇ 정의:
Forward Process로 노이즈가 추가된 데이터를 입력으로 받아 원본 데이터를 복원하는 방식으로 모델을 학습하는 방법.

ㅇ 특징:
노이즈 수준별 복원 능력을 학습하며, 최종적으로는 새로운 데이터 생성을 가능하게 함.

ㅇ 적합한 경우:
다양한 노이즈 환경에서도 강인한 생성 모델이 필요한 경우.

ㅇ 시험 함정:
복원 기반 학습이 단순한 오토인코더 학습과 동일하다고 착각하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “복원 기반 학습은 노이즈가 있는 입력에서 원본을 예측하도록 모델을 훈련한다.”
X: “복원 기반 학습은 원본 데이터에 직접적으로만 의존해 학습한다.”

ㅁ 추가 학습 내용

Forward/Backward Process에서는 시간 스텝 t의 개념과 마르코프 체인 특성을 함께 이해해야 한다.
Forward Process는 데이터에 점진적으로 노이즈를 추가하는 과정이며, 각 스텝은 이전 스텝의 상태에만 의존하는 마르코프 체인 구조를 가진다. Backward Process는 이를 역으로 복원하는 과정으로, 각 시간 스텝에서 노이즈를 제거하며 원본 데이터로 복원해 나간다.

노이즈 가중치와 관련해서는 베타 스케줄을 이해해야 한다. 베타 스케줄은 시간 스텝에 따라 노이즈의 분산을 조절하는 방식으로, 선형 스케줄, 코사인 스케줄 등이 있다. 또한 알파 값의 누적곱(ᾱ)은 각 스텝까지의 노이즈 누적 비율을 나타내며, 샘플링 및 복원 과정의 수식 전개에서 중요한 역할을 한다.

복원 기반 학습에서는 기본적으로 L2 손실이 사용되지만, 변형된 손실 함수도 활용될 수 있다. 예를 들어 변분 하한(VLB) 기반 손실이나 perceptual loss 등이 있으며, 이는 복원 품질이나 학습 안정성에 영향을 준다.

역과정 샘플링 방식에는 DDPM과 DDIM이 있다. DDPM은 확률적 샘플링을 통해 점진적으로 이미지를 복원하며, DDIM은 결정론적 또는 준결정론적 방식으로 더 적은 스텝에서 빠르게 샘플링할 수 있도록 설계되어 있다. 두 방식은 복원 속도와 품질, 다양성 측면에서 차이가 있다.