ㅁ 핵심 개념

1. DDPM

ㅇ 정의:
확산 확률 모델(Denoising Diffusion Probabilistic Model)의 약자로, 데이터에 점진적으로 노이즈를 추가한 뒤 이를 역으로 제거하는 과정을 학습하여 새로운 데이터를 생성하는 생성 모델.

ㅇ 특징:
– 순방향 과정: 데이터에 점진적으로 가우시안 노이즈를 추가하여 잠재 공간으로 변환
– 역방향 과정: 노이즈 제거 네트워크를 통해 원본 데이터로 복원
– 안정적인 학습과 고품질 샘플 생성 가능
– 학습 시 많은 스텝과 연산량이 필요

ㅇ 적합한 경우:
– 이미지, 오디오 등 고해상도 데이터 생성
– GAN보다 안정적인 학습이 필요한 경우
– 데이터 다양성과 품질이 모두 중요한 경우

ㅇ 시험 함정:
– DDPM은 한 번에 노이즈를 제거하는 것이 아니라, 여러 스텝에 걸쳐 점진적으로 제거함
– 순방향 과정과 역방향 과정의 확률 분포가 동일하다고 착각하는 경우
– GAN과 비교 시 판별자가 없다는 점을 간과하는 경우

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “DDPM은 점진적 노이즈 제거 과정을 학습하여 데이터를 생성한다.”
– O: “DDPM은 확률적 모델로, 순방향과 역방향 과정을 모두 정의한다.”
– X: “DDPM은 한 번의 스텝으로 모든 노이즈를 제거한다.”
– X: “DDPM은 판별자를 사용하여 진짜와 가짜 데이터를 구분한다.”

ㅁ 추가 학습 내용

학습 정리

1. DDPM(Denoising Diffusion Probabilistic Model)의 수학적 정의
– 전방 확산 과정: 데이터에 점진적으로 가우시안 노이즈를 추가하여 순차적으로 분포를 변환하는 마르코프 과정
– 역방향 확산 과정: 노이즈가 추가된 상태에서 원본 데이터를 복원하는 확률적 과정
– 학습 목표: 역방향 조건부 확률 분포를 근사하는 신경망을 학습하여 노이즈 제거

2. 베타 스케줄링(β schedule)
– β는 각 타임스텝에서 추가되는 노이즈의 분산을 결정
– 선형 스케줄: 일정한 비율로 β 증가, 구현이 간단하고 안정적이나 품질이 최적은 아님
– 코사인 스케줄: 코사인 함수를 기반으로 β 변화, 이미지 품질이 더 우수한 경우가 많음
– 그 외 지수, 맞춤형 스케줄 등 다양한 변형 존재

3. DDIM(Denoising Diffusion Implicit Model)과의 차이점
– DDPM: 순차적이고 확률적인 역방향 샘플링
– DDIM: 비확률적이고 더 적은 스텝으로 샘플링 가능, 품질 저하를 최소화하며 속도 향상
– DDIM은 DDPM의 학습된 모델을 그대로 사용 가능

4. 샘플링 속도 개선 기법
– 스텝 수 감소(DTIM, PNDM 등)
– 중요도 샘플링 및 노이즈 예측 최적화
– 멀티스케일 샘플링 전략

5. 조건부 생성(Conditional DDPM)
– 클래스 라벨, 텍스트, 이미지 등 조건 정보를 추가하여 원하는 특성의 샘플 생성
– 조건 정보는 네트워크 입력에 직접 결합하거나, 조건 임베딩을 통해 주입

6. 확산 모델과 GAN, VAE 비교
– 장점: 안정적인 학습, 모드 붕괴 없음, 고품질·다양한 샘플 생성
– 단점: 샘플링 속도가 느림, 계산량이 많음
– GAN: 빠른 샘플링, 하지만 모드 붕괴 가능성
– VAE: 학습 안정적, 하지만 샘플 품질이 낮을 수 있음

7. 역방향 확률 분포 추정 시 사용하는 신경망 구조
– 주로 UNet 기반 구조 사용
– 다중 해상도 특징 추출과 결합(skip connection)으로 세밀한 복원 가능

8. 시간 스텝 인코딩 방식
– Positional Encoding 사용
– 사인·코사인 함수를 이용해 시간 스텝을 고차원 벡터로 변환하여 네트워크에 주입
– 시간 정보가 노이즈 제거 과정에 반영되도록 함