ㅁ 생성 모델

ㅇ 정의:
데이터의 분포를 학습하여 새로운 데이터를 생성하는 모델로, 확률적 생성 과정 또는 매개변수화된 분포를 통해 샘플을 생성함.

ㅇ 특징:
– 입력 없이도 새로운 샘플 생성 가능
– 데이터의 잠재 분포를 명시적 혹은 암묵적으로 학습
– GAN, VAE, 확산 모델 등 다양한 접근 방식 존재

ㅇ 적합한 경우:
– 이미지, 오디오, 텍스트 등 창작 콘텐츠 생성
– 데이터 증강, 시뮬레이션 데이터 생성

ㅇ 시험 함정:
– 생성 모델과 판별 모델의 차이를 혼동
– 확률 분포를 직접 모델링하는지 여부 구분 필요

ㅇ 시험 대비 “패턴 보기” 예시:
O: “데이터의 잠재 확률분포를 학습하여 새로운 샘플을 생성하는 모델을 생성 모델이라 한다.”
X: “생성 모델은 반드시 지도학습 방식으로만 학습된다.”

================================

1. Score Matching

ㅇ 정의:
데이터의 확률 밀도 함수의 점수 함수(로그 확률의 기울기)를 직접 추정하여 모델의 분포를 학습하는 방법.

ㅇ 특징:
– 확률 밀도의 정규화 상수를 몰라도 학습 가능
– 에너지 기반 모델(Energy-Based Model) 학습에 자주 사용
– 데이터의 기울기 정보를 활용하여 분포를 근사

ㅇ 적합한 경우:
– 정규화 상수 계산이 어려운 고차원 데이터 분포 학습
– 확산 모델, 노이즈 제거 점수 매칭(Denoising Score Matching) 등에서 활용

ㅇ 시험 함정:
– 점수 함수는 확률이 아니라 로그 확률의 기울기임을 혼동
– MLE(최대우도추정)와 동일하다고 착각
– 노이즈 추가 여부에 따라 변형 기법이 존재함을 간과

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Score Matching은 로그 확률의 기울기를 직접 추정하여 분포를 학습한다.”
X: “Score Matching은 정규화 상수를 반드시 알아야 학습할 수 있다.”

ㅁ 추가 학습 내용

Score Matching은 2005년 Hyvärinen이 제안한 기법으로, 확률 밀도의 정규화 상수를 계산할 수 없는 경우에도 학습이 가능하다는 장점이 있다.
점수 함수는 ∇x log p(x)로 정의되며, 이는 데이터 공간에서 확률이 증가하는 방향을 나타낸다.
Denoising Score Matching(DSM)은 데이터에 노이즈를 추가한 뒤 점수 함수를 학습하여 일반화 성능을 높이는 변형 기법이다.
최근 확산 모델(Diffusion Model)에서 노이즈 예측 네트워크 학습에 Score Matching 개념이 핵심적으로 활용되고 있다.
시험에서는 다음 내용을 자주 묻는다.
– Score Matching과 최대우도추정(MLE)의 차이
– 점수 함수의 정의
– DSM의 필요성
– 정규화 상수 불필요성
– 에너지 기반 모델과의 관계