ㅁ 에너지 기반 모델

ㅇ 정의:
에너지 기반 모델은 데이터 포인트 간 상호작용을 에너지 함수로 표현하여 확률 분포를 학습하는 기계 학습 모델이다.

ㅇ 특징:
– 에너지 함수로 데이터의 구조를 모델링.
– 확률 분포를 명시적으로 계산하지 않고도 학습 가능.
– 샘플링 기반 학습 방법이 주로 사용됨.

ㅇ 적합한 경우:
– 데이터 간 상호 작용을 모델링해야 할 때.
– 확률 분포를 직접적으로 계산하기 어려운 경우.

ㅇ 시험 함정:
– 에너지 기반 모델과 확률 기반 모델의 차이를 혼동할 수 있음.
– 에너지 함수의 정의와 역할에 대한 이해 부족.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 에너지 기반 모델은 데이터 간의 상호 작용을 에너지 함수로 표현한다.
X: 에너지 기반 모델은 항상 명시적인 확률 분포를 계산한다.

================================

1. Boltzmann Machine

ㅇ 정의:
Boltzmann Machine은 뉴런 간의 상호작용을 에너지 함수로 표현하고 확률적 그래프 모델을 기반으로 학습하는 에너지 기반 모델의 일종이다.

ㅇ 특징:
– 대칭적인 연결 구조를 가짐.
– 샘플링 기반 학습 방법인 기브스 샘플링을 사용.
– 학습 속도가 느리고 대규모 데이터에 비효율적일 수 있음.

ㅇ 적합한 경우:
– 작은 규모의 데이터셋에서 확률적 관계를 학습할 때.
– 데이터 간 상호작용의 구조를 탐구할 때.

ㅇ 시험 함정:
– Restricted Boltzmann Machine(RBM)과의 차이를 혼동할 수 있음.
– 학습 알고리즘이 느리다는 점을 간과할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: Boltzmann Machine은 뉴런 간의 대칭적인 연결 구조를 가진다.
X: Boltzmann Machine은 대규모 데이터셋에서 효율적이다.

ㅁ 추가 학습 내용

Boltzmann Machine과 Restricted Boltzmann Machine(RBM)의 주요 차이점은 다음과 같습니다. Boltzmann Machine은 네트워크 내 모든 노드가 서로 연결될 수 있는 완전 연결 구조를 가지고 있지만, RBM은 은닉층과 가시층 간의 연결만 허용하며 같은 층 내에서는 연결이 없는 구조적 제약을 가지고 있습니다. 이러한 제약으로 인해 RBM은 학습 속도가 더 빠르고 계산이 효율적입니다.

Boltzmann Machine의 학습 과정에서는 기브스 샘플링(Gibbs Sampling)이 사용됩니다. 기브스 샘플링은 조건부 확률을 기반으로 변수들을 반복적으로 갱신하여 목표 분포를 근사하는 방법입니다. 하지만, Boltzmann Machine에서 기브스 샘플링은 수렴 속도가 느리고 계산 비용이 높아 실제로 학습 과정이 매우 어려울 수 있습니다. 반면, RBM은 구조적 제약 덕분에 기브스 샘플링이 더 간단하게 이루어지며 학습 효율이 높아집니다.

따라서 Boltzmann Machine과 RBM의 구조적 차이와 이를 통한 학습 속도 및 효율성의 차이를 이해하는 것이 중요하며, 기브스 샘플링의 원리와 한계점을 파악하는 것도 시험 대비에 유용합니다.