ㅁ 에너지 기반 모델

ㅇ 정의:
– 에너지 기반 모델(Energy-Based Model, EBM)은 데이터의 확률 분포를 에너지 함수로 표현하고, 낮은 에너지를 가지는 상태가 더 높은 확률을 갖도록 설계된 모델.

ㅇ 특징:
– 명시적 확률 분포를 직접 계산하지 않고, 에너지 함수를 통해 상대적인 확률 비교 가능.
– 샘플링 기반 학습(MCMC 등)을 활용.
– 생성 모델과 판별 모델 모두로 활용 가능.
– 학습 속도가 느리고, 샘플링 효율이 성능에 큰 영향을 미침.

ㅇ 적합한 경우:
– 복잡한 데이터 분포를 모델링해야 하는 경우.
– 확률 분포의 정규화 상수를 직접 계산하기 어려운 경우.
– 생성과 판별을 동시에 고려하는 문제.

ㅇ 시험 함정:
– 에너지 기반 모델이 항상 명시적 확률 값을 계산할 수 있는 것으로 오해.
– Score-based Model과 혼동.
– 학습 시 반드시 MCMC를 사용하는 것으로만 제한적으로 이해.

ㅇ 시험 대비 “패턴 보기” 예시:
– “에너지 기반 모델은 확률 분포를 에너지 함수로 표현한다” (O)
– “에너지 기반 모델은 항상 정규화 상수를 쉽게 계산한다” (X)
– “에너지 기반 모델은 생성과 판별 모두 가능하다” (O)

================================

1. Score-based Model

ㅇ 정의:
– 데이터의 로그 확률 밀도 함수의 기울기(Score Function)를 직접 추정하여 확률 분포를 모델링하는 접근 방식.
– Score Function은 데이터 포인트 주변의 확률 분포 기울기를 나타냄.

ㅇ 특징:
– 확률 분포의 정규화 상수 계산 없이 학습 가능.
– 노이즈 조건부 점수 매칭(Noise Conditional Score Matching, NCSM) 기법과 결합하여 고차원 데이터에도 적용 가능.
– 확률적 미분 방정식(SDE)을 활용한 샘플링 가능.
– 최근 확산 모델(Diffusion Model)과 밀접하게 연관.

ㅇ 적합한 경우:
– 이미지, 오디오 등 고차원 연속 데이터 생성.
– 정규화 상수 계산이 어려운 복잡한 분포 학습.
– 비지도 학습 기반 생성 모델 개발.

ㅇ 시험 함정:
– Score Function을 확률 값 자체로 혼동.
– 단순 경사하강법과 동일시.
– 확산 모델과 Score-based Model의 관계를 혼동.

ㅇ 시험 대비 “패턴 보기” 예시:
– “Score-based Model은 로그 확률 밀도의 기울기를 학습한다” (O)
– “Score-based Model은 정규화 상수를 반드시 계산해야 한다” (X)
– “Score-based Model은 확산 모델의 기반이 될 수 있다” (O)

ㅁ 추가 학습 내용

Score-based Model 학습 정리

1. Score Matching의 수학적 정의
– Score 함수: ∇x log p(x)
– 데이터 분포의 로그 확률 밀도에 대한 입력 x의 기울기를 의미
– Hyvärinen의 Score Matching: 확률분포의 정규화 상수를 계산하지 않고 점수 함수를 직접 추정하는 방법론

2. Noise Conditional Score Matching(NCSM)과 Denoising Score Matching(DSM)
– NCSM: 다양한 노이즈 수준에 조건부로 점수 함수를 학습
– DSM: 노이즈가 추가된 데이터에서 원본 데이터를 복원하도록 학습, 이를 통해 점수 함수를 근사
– 차이점: NCSM은 노이즈 레벨을 명시적으로 조건으로 두고 학습, DSM은 복원 과정에서 점수를 간접적으로 학습

3. 확산 모델과의 연결
– 확산 모델에서의 샘플링: SDE 기반 샘플링, Reverse Diffusion Process 활용
– 학습된 점수 함수를 사용하여 노이즈를 점진적으로 제거하며 샘플 생성

4. Score-based Model과 Energy-based Model의 관계
– Score-based Model은 Energy-based Model의 한 형태
– 정규화 상수를 직접 계산하지 않고 점수 함수를 학습하여 우회

5. Langevin Dynamics를 이용한 샘플링
– 점수 함수를 이용하여 데이터 공간에서 확률적으로 샘플을 생성하는 방법
– 샘플링 효율 문제 존재: 많은 스텝이 필요하고 계산량이 큼
– 해결책: Annealed Langevin Dynamics 등, 노이즈 스케일을 점진적으로 줄여 효율 향상