ㅁ 에너지 기반 모델

ㅇ 정의:
확률 분포를 에너지 함수로 표현하여, 낮은 에너지 상태일수록 발생 확률이 높다고 가정하는 모델 계열. 상태 간 에너지 차이를 기반으로 데이터의 확률 구조를 학습함.

ㅇ 특징:
– 명시적 확률분포 대신 에너지 함수를 정의하고 이를 통해 확률을 유도.
– 샘플링 기반 학습(MCMC 등) 필요.
– 학습과 추론이 계산 집약적.

ㅇ 적합한 경우:
– 데이터 간 복잡한 상관관계가 존재하는 경우
– 잠재 변수 모델링이 필요한 경우

ㅇ 시험 함정:
– 에너지 기반 모델이 항상 지도학습만 가능한 것으로 오해.
– 확률 계산 시 정규화 상수(Partition Function) 계산이 항상 쉬운 것으로 착각.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 에너지 기반 모델은 상태의 에너지를 낮추는 방향으로 학습한다.
X: 에너지 기반 모델은 항상 폐형식(closed-form)으로 확률을 계산할 수 있다.

================================

1. Boltzmann Machine

ㅇ 정의:
확률적 신경망의 일종으로, 노드 간 연결을 통해 확률 분포를 학습하며, 각 상태의 에너지를 기반으로 확률을 정의하는 비지도 학습 모델.

ㅇ 특징:
– 완전 연결 구조를 가짐(모든 노드가 서로 연결).
– 시그모이드 확률 활성 함수를 사용.
– MCMC 기반의 Gibbs Sampling으로 학습.
– 학습 시 수렴 속도가 느리고 계산량이 많음.

ㅇ 적합한 경우:
– 데이터의 복잡한 확률 구조를 모델링해야 하는 경우
– 패턴 완성, 잡음 제거, 특징 학습 등의 비지도 학습 태스크

ㅇ 시험 함정:
– Boltzmann Machine이 항상 은닉층을 여러 개 포함한다고 오해.
– 학습이 빠르고 대규모 데이터에 적합하다고 잘못 이해.

ㅇ 시험 대비 “패턴 보기” 예시:
O: Boltzmann Machine은 에너지 함수를 기반으로 확률을 정의한다.
X: Boltzmann Machine은 항상 은닉층이 여러 개인 심층 구조를 가진다.

ㅁ 추가 학습 내용

Boltzmann Machine은 모든 노드가 서로 연결된 완전 연결 구조를 가지며, 확률 계산 시 Partition Function 계산이 NP-난해하다. 학습 과정에서 Gibbs Sampling을 사용하지만, 수렴 속도가 느리고 계산량이 많아 학습이 어렵다.

Restricted Boltzmann Machine(RBM)은 가시층과 은닉층 간의 연결만 존재하며, 층 내에서는 연결이 없는 이분 그래프 구조를 가진다. 이러한 구조는 학습 속도를 크게 향상시키고, Contrastive Divergence 알고리즘을 사용하여 효율적으로 학습할 수 있게 한다.

Deep Boltzmann Machine(DBM)은 RBM을 심층 구조로 확장한 모델로, 여러 은닉층을 쌓아 복잡한 데이터의 확률 분포를 학습할 수 있다.

시험에서는 Boltzmann Machine과 RBM의 구조적 차이, Partition Function 계산의 난이도, Gibbs Sampling의 개념과 한계, 학습 시 수렴 문제, 그리고 DBM의 특징이 자주 출제된다.