ㅁ 고급 기법

1. Classifier-Free Guidance

ㅇ 정의:
– 생성 모델에서 별도의 분류기 없이 조건부 생성 품질을 높이는 기법으로, 조건부 확률과 무조건 확률을 혼합하여 샘플의 방향성을 조정함.

ㅇ 특징:
– 조건부와 무조건부 모델 출력을 선형 보간 또는 가중 조합하여 생성물의 조건 충실도를 조절.
– 추가 분류기 학습이 필요 없어 효율적.
– Guidance scale 하이퍼파라미터로 조건 강도를 제어.

ㅇ 적합한 경우:
– 텍스트-투-이미지 생성에서 프롬프트 반영도를 높이고 싶을 때.
– 분류기 준비가 어렵거나 데이터가 부족한 상황.

ㅇ 시험 함정:
– 분류기를 사용하는 guidance와 혼동 유도.
– guidance scale이 높을수록 항상 품질이 좋다고 착각.

ㅇ 시험 대비 “패턴 보기” 예시:
– (O) “Classifier-Free Guidance는 별도의 분류기 없이 조건부 생성 품질을 높인다.”
– (X) “Classifier-Free Guidance는 사전 학습된 분류기를 반드시 필요로 한다.”

2. Latent Diffusion Models

ㅇ 정의:
– 고차원 데이터(예: 이미지)를 압축된 잠재 공간(latent space)으로 변환한 뒤, 그 공간에서 확산 모델을 학습하고 샘플링하는 기법.

ㅇ 특징:
– VAE(Variational Autoencoder) 등의 인코더-디코더 구조와 결합.
– 연산 효율성 향상 및 메모리 절감.
– 원본 공간보다 빠른 학습과 생성.

ㅇ 적합한 경우:
– 고해상도 이미지 생성.
– GPU 메모리 제약이 있는 환경.

ㅇ 시험 함정:
– 원본 픽셀 공간에서 직접 확산하는 모델과 혼동.
– 잠재 공간에서 학습하면 항상 품질이 떨어진다고 오해.

ㅇ 시험 대비 “패턴 보기” 예시:
– (O) “Latent Diffusion Models는 잠재 공간에서 확산 과정을 학습한다.”
– (X) “Latent Diffusion Models는 잠재 공간 변환을 사용하지 않는다.”

3. Score Matching

ㅇ 정의:
– 데이터 분포의 score function(로그 확률 밀도의 기울기)을 근사하도록 모델을 학습하는 방법.

ㅇ 특징:
– 확률 분포 추정에 활용.
– 확산 모델, 에너지 기반 모델 학습에 사용.
– 데이터에 노이즈를 추가한 후 score를 추정하는 변형(Denoising Score Matching) 존재.

ㅇ 적합한 경우:
– 데이터 분포를 명시적으로 모델링하기 어려운 경우.
– 샘플링 기반 생성 모델 학습.

ㅇ 시험 함정:
– score가 확률값이라고 착각.
– score matching이 직접적인 likelihood maximization이라고 오해.

ㅇ 시험 대비 “패턴 보기” 예시:
– (O) “Score Matching은 로그 확률 밀도의 기울기를 학습한다.”
– (X) “Score Matching은 확률값 자체를 직접 예측한다.”

4. Noise Scheduling

ㅇ 정의:
– 확산 모델에서 시간 단계별로 노이즈를 추가하거나 제거하는 강도(분산, 베타 값 등)를 계획적으로 설정하는 방법.

ㅇ 특징:
– 선형, 코사인, 지수 등 다양한 스케줄 형태 존재.
– 학습 안정성과 생성 품질에 큰 영향.
– 초기 단계 노이즈 크기와 후반 단계 노이즈 감소 패턴이 중요.

ㅇ 적합한 경우:
– 확산 모델의 학습/샘플링 최적화.
– 특정 데이터 특성에 맞춘 노이즈 주입 패턴 설계.

ㅇ 시험 함정:
– 스케줄이 학습에 영향을 주지 않는다고 착각.
– 모든 데이터셋에 동일 스케줄이 최적이라고 오해.

ㅇ 시험 대비 “패턴 보기” 예시:
– (O) “Noise Scheduling은 단계별 노이즈 강도를 조절한다.”
– (X) “Noise Scheduling은 확산 모델에서 불필요한 절차이다.”

ㅁ 추가 학습 내용

학습 시 유의해야 할 핵심 내용 정리

1. Classifier-Free Guidance
– Guidance scale이 지나치게 높으면 이미지가 왜곡되거나 비현실적으로 생성될 수 있음.

2. Latent Diffusion Models
– VAE의 재구성 손실과 KL 손실의 균형이 결과물의 품질과 다양성에 직접적인 영향을 미침.

3. Score Matching
– Fisher divergence와의 관계를 이해해야 함.
– 실제 학습에서는 denoising 변형 방식이 더 안정적으로 작동함.

4. Noise Scheduling
– 학습 시 사용하는 스케줄과 샘플링 시 사용하는 스케줄을 다르게 설정하는 경우가 많음.
– DDPM, DDIM 등 샘플링 방식에 따라 최적의 스케줄이 달라질 수 있음.

5. 응용형 문제 대비
– 서로 다른 기법들이 결합되어 사용되는 경우가 많음. 예: Latent Diffusion + Classifier-Free Guidance
– 결합 시 장단점을 분석하고 설명할 수 있어야 함.