ㅁ 에너지 기반 모델

ㅇ 정의:
– 데이터의 확률 분포를 에너지 함수로 표현하여 최적화하는 모델.

ㅇ 특징:
– 확률 밀도를 명시적으로 계산하지 않고도 샘플 생성 가능.
– 비정형 데이터에 적용 가능하며, 모델의 유연성이 높음.

ㅇ 적합한 경우:
– 이미지 생성, 이상 탐지와 같은 데이터 분포 학습이 필요한 경우.

ㅇ 시험 함정:
– 에너지 기반 모델과 일반적인 확률 기반 모델의 차이를 혼동하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 에너지 기반 모델은 확률 밀도를 명시적으로 계산하지 않는다.
– X: 에너지 기반 모델은 모든 데이터의 확률 분포를 직접 계산한다.

================================

1. Score-based Model

ㅇ 정의:
– 데이터 공간에서 점수 함수(score function)를 학습하여 샘플 생성 및 데이터 분포를 추정하는 모델.

ㅇ 특징:
– 점수 함수는 데이터의 확률 분포의 기울기를 나타냄.
– 노이즈를 추가한 데이터에서 점수 함수를 학습한 뒤, 이를 이용해 샘플을 생성함.

ㅇ 적합한 경우:
– 고차원 데이터에서 확률 분포를 명시적으로 정의하기 어려운 경우.
– 이미지 복원, 노이즈 제거와 같은 작업.

ㅇ 시험 함정:
– 점수 함수와 데이터 분포의 관계를 정확히 이해하지 못하고, 점수 함수가 확률 밀도 자체라고 오해하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Score-based Model은 점수 함수를 학습하여 데이터 분포를 추정한다.
– X: Score-based Model은 데이터의 확률 밀도를 직접 계산한다.

ㅁ 추가 학습 내용

Score-based 모델과 에너지 기반 모델에 대한 학습 내용을 다음과 같이 정리할 수 있습니다:

1. Score-based 모델의 실제 응용 사례:
– 이미지 생성에서 Score-based 모델은 노이즈 제거를 위해 효과적으로 사용됩니다. 예를 들어, 노이즈가 심하게 포함된 이미지를 입력으로 받아 원래 깨끗한 이미지를 복원하는 데 활용됩니다. 이는 특히 딥러닝 기반의 확률적 모델에서 스코어 함수(데이터 분포의 로그 확률 밀도 함수의 기울기)를 학습하여 노이즈를 점진적으로 제거하는 방식으로 구현됩니다.
– 데이터 복원 작업에서도 Score-based 모델이 유용하게 사용됩니다. 손상된 데이터(예: 결측값이 있는 이미지나 텍스트)에서 원래 데이터를 재구성하는 데 성공적인 결과를 보여줍니다. 이러한 작업은 의료 데이터 복원, 위성 이미지 복원 등 다양한 분야에서 성과를 보이고 있습니다.

2. 에너지 기반 모델의 한계점:
– 계산 복잡성: 에너지 기반 모델은 에너지 함수의 최적화를 통해 데이터 분포를 모델링하는데, 이 과정에서 계산 비용이 매우 높을 수 있습니다. 특히 고차원 데이터에 대해 에너지 함수를 정확히 계산하거나 최적화하는 것은 상당히 많은 자원을 요구합니다.
– 안정성 문제: 에너지 기반 모델은 학습 과정에서 수렴 문제를 겪을 수 있습니다. 잘못된 하이퍼파라미터 설정이나 모델 구조로 인해 학습이 불안정해질 위험이 있습니다. 또한, 모델의 에너지 함수가 비정상적으로 작동하거나, 지역 최적점에 갇혀 전역 최적점을 찾지 못할 가능성도 존재합니다.
– 샘플링의 어려움: 에너지 기반 모델에서 데이터를 생성하거나 복원하기 위해서는 샘플링이 필수적입니다. 그러나 샘플링 과정은 일반적으로 많은 계산 자원을 소모하며, 특히 복잡한 데이터 분포에서는 샘플링이 매우 어려울 수 있습니다.

위의 내용을 통해 Score-based 모델의 응용 가능성과 에너지 기반 모델의 한계점을 보다 명확히 이해하고, 실제 사례를 통해 학습 내용을 구체화할 수 있습니다.