ㅁ 최신 모델

1. Diffusion Models

ㅇ 정의:
데이터에 점진적으로 노이즈를 추가한 뒤 이를 역으로 제거하는 과정을 학습하여 새로운 데이터를 생성하는 확률적 생성 모델.

ㅇ 특징:
– 학습 안정성이 높고 모드 붕괴가 적음
– 생성 품질이 우수하지만 샘플링 속도가 느림
– 다양한 조건부 생성(이미지-텍스트, 이미지-이미지 변환)에 활용 가능

ㅇ 적합한 경우:
– 고해상도 이미지 생성
– 텍스트 조건 기반 이미지 생성
– 데이터 다양성이 중요한 경우

ㅇ 시험 함정:
– GAN과 비교 시 속도와 품질의 trade-off 구분
– ‘Diffusion’을 단순한 데이터 증강 기법으로 오해

ㅇ 시험 대비 “패턴 보기” 예시:
O: “점진적으로 노이즈를 제거하며 데이터를 생성한다.”
X: “노이즈를 한 번에 제거하여 빠른 샘플링이 가능하다.”

2. GANs

ㅇ 정의:
생성자(Generator)와 판별자(Discriminator)가 경쟁하며 데이터를 생성하는 적대적 신경망 구조.

ㅇ 특징:
– 매우 현실적인 데이터 생성 가능
– 학습 불안정성과 모드 붕괴 가능성 존재
– 다양한 변형 모델(CGAN, StyleGAN 등) 존재

ㅇ 적합한 경우:
– 사진 수준의 고품질 이미지 생성
– 스타일 변환, 이미지 합성

ㅇ 시험 함정:
– 판별자가 생성자보다 너무 강하면 학습 실패
– ‘GAN’을 단일 모델로만 이해하고 변형 구조를 간과

ㅇ 시험 대비 “패턴 보기” 예시:
O: “생성자와 판별자가 경쟁하여 데이터 분포를 학습한다.”
X: “판별자는 생성자의 손실을 최소화하는 역할만 한다.”

3. Energy-Based Models

ㅇ 정의:
데이터의 확률 분포를 에너지 함수로 정의하고, 낮은 에너지를 갖는 데이터 샘플을 생성하는 모델.

ㅇ 특징:
– 명시적 확률 분포를 직접 모델링하지 않음
– 샘플링 속도가 느릴 수 있음
– 다양한 데이터 타입에 적용 가능

ㅇ 적합한 경우:
– 확률적 해석이 필요한 생성 작업
– 비정형 데이터 생성

ㅇ 시험 함정:
– 확률 분포를 직접 계산한다고 오해
– GAN이나 Diffusion과의 차이를 혼동

ㅇ 시험 대비 “패턴 보기” 예시:
O: “에너지 함수를 최소화하는 방향으로 샘플을 생성한다.”
X: “항상 명시적인 확률분포를 계산하여 샘플을 생성한다.”

4. Score-Based Generative Models

ㅇ 정의:
데이터의 로그 확률 밀도의 기울기(Score function)를 추정하여 샘플을 생성하는 확률적 모델.

ㅇ 특징:
– 확률 밀도의 형태를 직접 모델링하지 않음
– SDE(확률 미분 방정식) 기반 샘플링 가능
– Diffusion 모델과 개념적으로 유사

ㅇ 적합한 경우:
– 고차원 데이터 생성
– 노이즈 제거 기반 생성

ㅇ 시험 함정:
– Score function을 손실 함수로 혼동
– Diffusion 모델과 동일시하는 오류

ㅇ 시험 대비 “패턴 보기” 예시:
O: “로그 확률 밀도의 기울기를 학습하여 샘플을 생성한다.”
X: “확률 밀도의 절대값을 직접 계산하여 생성한다.”

ㅁ 추가 학습 내용

[정리]
Diffusion Models와 Score-Based Models의 관계
– Score-Based Models: 데이터의 확률 밀도 함수의 로그의 기울기(Score Function)를 추정하는 모델. 확률 분포의 형태를 직접 모델링하지 않고, 데이터 분포의 기울기를 학습하여 샘플링 시 이를 이용해 데이터를 생성.
– Diffusion Models: 전방향 과정(Forward Process, 데이터에 점진적으로 노이즈를 추가)과 역방향 과정(Reverse Process, 노이즈를 제거하며 데이터 복원)을 명시적으로 모델링. 역방향 과정에서 Score Function 추정이 필요하며, 이 점에서 Score-Based Models와 연결됨. 즉, Diffusion Models는 Score-Based Models의 추정치를 활용하여 역방향 샘플링을 수행할 수 있음.

GAN 변형 구조
– CycleGAN: 쌍을 이루지 않은 데이터셋(Unpaired Data) 간의 이미지 변환에 사용. Cycle Consistency Loss를 통해 원래 도메인으로 복원 가능하도록 학습.
– BigGAN: 대규모 데이터셋과 클래스 정보를 활용한 고해상도 이미지 생성. 클래스 조건부 생성(Class-Conditional Generation)과 대규모 배치 학습으로 품질 향상.

Energy-Based Models (EBM)
– Contrastive Divergence: 데이터 분포와 모델 분포의 차이를 줄이기 위해, MCMC를 완전하게 수행하지 않고 짧은 샘플링 체인으로 근사하여 학습 속도를 높이는 방법.
– Langevin Dynamics: 확률적 미분 방정식을 이용하여 에너지 함수로부터 샘플을 생성하는 절차. 데이터 공간에서 에너지가 낮은 영역으로 점진적으로 이동하며 노이즈를 추가해 탐색.

모델별 장단점 비교
1. Diffusion Models
장점: 안정적인 학습, 다양한 데이터 분포 모델링 가능, 고품질 샘플 생성
단점: 샘플링 속도가 느림(다단계 역과정 필요), 계산량 많음
2. Score-Based Models
장점: 확률 밀도 추정 기반, 다양한 샘플링 절차와 결합 가능
단점: Score Function 추정 정확도에 성능 의존
3. GAN
장점: 빠른 샘플링, 고품질 이미지 생성 가능
단점: 모드 붕괴, 학습 불안정성
4. EBM
장점: 명시적 확률 모델, 다양한 데이터 표현 가능
단점: 학습과 샘플링이 느림, MCMC 의존성 큼

[시험 대비 체크리스트]
– Score-Based Models의 정의와 핵심 개념(Score Function) 설명 가능
– Diffusion Models의 전방향/역방향 과정과 Score-Based Models와의 연결점 설명 가능
– CycleGAN의 Cycle Consistency Loss 개념과 비지도 도메인 변환 원리 이해
– BigGAN의 클래스 조건부 생성 구조와 대규모 학습 특징 설명 가능
– Contrastive Divergence의 목적과 절차 설명 가능
– Langevin Dynamics의 샘플링 절차 단계별 설명 가능
– 각 모델(Diffusion, Score-Based, GAN, EBM)의 장단점을 표 형태로 정리하여 서술 가능
– GAN 변형 구조 간 차이점을 예시와 함께 설명 가능
– EBM 학습 시 MCMC의 역할과 한계 설명 가능