ㅁ 생성 모델

ㅇ 정의:
– 생성 모델은 주어진 데이터 분포를 학습하여 새로운 데이터를 생성하는 모델로, 이미지, 오디오, 텍스트 등 다양한 형태의 데이터를 생성할 수 있음.

ㅇ 특징:
– 확률 분포 기반 학습
– 데이터와 유사한 새로운 샘플 생성 가능
– GAN, VAE, Diffusion Model 등 다양한 유형 존재

ㅇ 적합한 경우:
– 데이터 증강이 필요한 경우
– 예술, 디자인, 콘텐츠 생성 등 창의적인 작업
– 시뮬레이션 데이터 생성

ㅇ 시험 함정:
– 생성 모델과 판별 모델의 차이를 혼동
– 단순 분류 모델을 생성 모델로 오인

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “데이터의 잠재 분포를 학습하여 새로운 샘플을 만들어내는 모델이다.”
– X: “데이터를 분류하는 데 특화된 모델이다.”

================================

1. Noise Scheduling

ㅇ 정의:
– Diffusion 기반 생성 모델에서 학습 및 샘플링 과정 중 노이즈를 주입하거나 제거하는 비율을 시간(step)에 따라 조절하는 전략.

ㅇ 특징:
– 학습 안정성과 생성 품질에 직접적인 영향
– 선형(linear), 코사인(cosine), 지수(exponential) 등 다양한 스케줄링 방식 존재
– 노이즈 주입 단계와 제거 단계 모두에 적용 가능

ㅇ 적합한 경우:
– Diffusion 모델에서 이미지, 오디오 등 고품질 생성이 필요한 경우
– 학습 초기 불안정성을 줄이고, 세부 묘사 품질을 높이고자 할 때

ㅇ 시험 함정:
– Noise Scheduling을 단순히 랜덤 노이즈 생성으로 오해
– 스케줄링 방식이 학습 속도에만 영향을 준다고 착각

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Diffusion 모델에서 시간 단계에 따라 노이즈 양을 조절하는 기법이다.”
– X: “모든 생성 모델에서 동일하게 적용되는 필수 기법이다.”

ㅁ 추가 학습 내용

Noise Scheduling은 Diffusion 모델에서 매우 중요한 하이퍼파라미터로, β 스케줄(beta schedule)이라고도 불린다. 베타 값이 시간에 따라 어떻게 증가하는지, 그 속도와 형태가 샘플의 품질, 디테일, 생성 속도에 큰 영향을 미친다.

대표적인 스케줄 방식으로는 선형 스케줄과 코사인 스케줄이 있으며, 두 방식은 노이즈 증가 패턴이 달라 결과물의 특성과 학습 안정성에 차이를 만든다. 시험에서는 이 두 스케줄의 차이, 학습 단계와 샘플링 단계에서의 스케줄 차이, 그리고 reverse process에서 노이즈를 제거하는 순서에 대해 물을 수 있다.

또한 DDPM, DDIM, Stable Diffusion 등 다양한 모델에서 Noise Scheduling이 어떻게 변형되거나 최적화되는지 비교하는 문제가 출제될 수 있다. 실무에서는 데이터의 특성에 맞춰 커스텀 스케줄을 설계하는 경우가 많으며, 이를 통해 특정 주파수 대역을 보존하거나 특정 디테일을 강조하는 등의 목적을 달성할 수 있다.