ㅁ 최신 모델

ㅇ 정의:
확률 분포를 에너지 함수로 표현하여, 낮은 에너지를 갖는 데이터 패턴이 실제 데이터일 가능성이 높다고 가정하는 생성모델. 데이터의 확률을 직접 계산하지 않고 에너지 값을 통해 상대적인 가능성을 비교함.

ㅇ 특징:
– 명시적인 확률 분포 대신 에너지 함수를 사용.
– 샘플링 시 MCMC(Markov Chain Monte Carlo) 기법을 자주 활용.
– 비정형 데이터에도 적용 가능하나 학습 속도가 느릴 수 있음.
– GAN, VAE와 달리 명시적인 생성 네트워크 없이도 가능.

ㅇ 적합한 경우:
– 데이터 분포가 복잡하거나 다중 모드(multimodal)를 가지는 경우.
– 명시적 확률 계산이 어려운 고차원 데이터.
– 이상치 탐지, 물리 기반 시뮬레이션 등에서 활용.

ㅇ 시험 함정:
– EBM은 확률 분포를 직접 모델링한다고 착각하는 경우(O). → 실제로는 정규화 상수를 계산하기 어려워 직접 확률 계산이 어려움.
– EBM은 항상 생성 속도가 빠르다(X). → 샘플링 과정이 느릴 수 있음.
– EBM은 반드시 신경망 구조를 사용해야 한다(X). → 에너지 함수는 다양한 형태로 정의 가능.

ㅇ 시험 대비 “패턴 보기” 예시:
– “EBM은 데이터의 확률 분포를 에너지 값으로 표현한다” (O)
– “EBM은 정규화 상수 계산이 쉬워 학습 속도가 빠르다” (X)
– “EBM은 MCMC를 활용한 샘플링을 자주 사용한다” (O)

ㅁ 추가 학습 내용

EBM 학습에서는 정규화 상수 계산이 어려운 문제를 완화하기 위해 Contrastive Divergence(CD)와 같은 근사 학습 기법이 자주 사용된다. EBM, Boltzmann Machine, Restricted Boltzmann Machine(RBM) 사이의 관계와 차이점을 이해하는 것이 중요하다. 최근에는 Score-Based Generative Model(확률 흐름 기반)과의 연결성, Langevin Dynamics를 이용한 샘플링 방법, Energy Landscape 해석 등이 함께 다뤄지고 있다.