ㅁ 확률적 그래픽 모델

ㅇ 정의:
확률적 그래픽 모델은 확률적 관계를 그래프로 표현하여 복잡한 확률 분포를 모델링하는 방법론이다.

ㅇ 특징:
– 데이터의 구조적 관계를 명확히 표현 가능.
– 해석 가능성이 높아 모델 이해가 용이.
– 다양한 응용 분야에서 활용 가능, 예를 들어 자연어 처리, 이미지 생성 등.

ㅇ 적합한 경우:
– 데이터 간 관계가 명확하고 구조화된 경우.
– 복잡한 확률적 관계를 간결하게 표현하고자 할 때.

ㅇ 시험 함정:
– 그래프의 노드와 엣지의 의미를 혼동할 수 있음.
– 조건부 독립성의 개념을 잘못 이해할 가능성.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 확률적 그래픽 모델은 데이터 간의 확률적 관계를 그래프로 표현한다.
– X: 확률적 그래픽 모델은 항상 비구조화된 데이터에 적합하다.

================================

1. Normalizing Flow

ㅇ 정의:
Normalizing Flow는 복잡한 확률 분포를 단순한 분포로 변환하는 연속적인 가역 변환을 통해 모델링하는 기법이다.

ㅇ 특징:
– 가역성을 보장하여 학습 및 샘플링이 용이.
– 복잡한 데이터 분포를 효율적으로 표현 가능.
– 다양한 변환 함수(Flow)를 사용할 수 있음.

ㅇ 적합한 경우:
– 고차원 데이터의 복잡한 분포를 단순화하고자 할 때.
– 샘플링 및 밀도 추정이 필요한 경우.

ㅇ 시험 함정:
– 변환 함수의 선택이 모델 성능에 미치는 영향을 간과할 수 있음.
– 가역 변환의 수학적 원리를 잘못 이해할 가능성.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Normalizing Flow는 복잡한 분포를 단순한 분포로 변환하는 가역 변환을 사용한다.
– X: Normalizing Flow는 비가역적인 변환을 통해 확률 분포를 모델링한다.

================================

1.1 Flow-based Models

ㅇ 정의:
Flow-based Models는 Normalizing Flow의 변환 함수로 사용되는 모델로, 데이터의 확률 분포를 학습하는 데 사용된다.

ㅇ 특징:
– 연속적인 변환을 통해 데이터의 밀도 함수를 학습 가능.
– 높은 표현력을 가지며 다양한 데이터 유형에 적용 가능.

ㅇ 적합한 경우:
– 복잡한 데이터 셋의 확률 분포를 학습하고자 할 때.
– 샘플링 및 밀도 추정이 필요한 경우.

ㅇ 시험 함정:
– 변환 함수의 설계와 선택이 모델 성능에 미치는 영향을 간과할 수 있음.
– 학습 과정에서 발생할 수 있는 수치적 불안정성을 고려하지 않을 가능성.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Flow-based Models는 연속적인 변환을 통해 데이터의 밀도 함수를 학습한다.
– X: Flow-based Models는 확률 분포를 직접적으로 계산하지 않고 대략적으로 추정한다.

ㅁ 추가 학습 내용

Normalizing Flow를 이해하기 위해 다음과 같은 학습 내용을 정리할 수 있습니다:

1. **가역 변환의 수학적 기초**:
– 가역 변환은 입력 데이터를 출력 데이터로 매핑할 때, 그 역변환이 존재하는 변환을 의미합니다.
– 이론적으로 함수 f가 가역이려면, f가 전단사 함수(모든 입력에 대해 유일한 출력이 존재하고, 모든 출력에 대해 유일한 입력이 존재)여야 합니다.
– 가역 변환은 Normalizing Flow에서 데이터 분포를 변환하고 원래 분포로 되돌리는 데 핵심 역할을 합니다.

2. **Jacobian Determinant의 중요성**:
– Normalizing Flow는 데이터 분포를 변환할 때 확률 밀도 함수의 변화를 계산해야 하며, 이 과정에서 Jacobian Determinant가 중요합니다.
– Jacobian Determinant는 변환의 스케일 변경 정도를 나타내며, log-확률 계산에 필수적입니다.
– 계산 효율성을 위해, 특정 Flow 함수는 Jacobian Determinant를 계산하기 쉽게 설계됩니다.

3. **주요 Flow 함수의 특징과 차이점**:
– RealNVP: Affine coupling layer를 사용하여 효율적인 변환과 Jacobian Determinant 계산을 가능하게 합니다. 일부 변수를 고정하고 나머지를 변환하는 구조를 가집니다.
– Glow: Invertible 1×1 convolution을 도입하여 더 유연한 변환을 제공합니다. RealNVP보다 더 복잡한 구조를 가지며, 이미지 생성 모델에서 자주 사용됩니다.
– NICE: Non-linear Independent Component Estimation의 약자로, RealNVP의 선구자입니다. Affine 대신 단순 선형 변환을 사용하며, 상대적으로 단순한 구조를 가집니다.

4. **Normalizing Flow와 다른 생성 모델의 비교**:
– GAN (Generative Adversarial Network): 데이터 분포를 직접 모델링하지 않고, 판별자와 생성자의 경쟁을 통해 데이터를 생성합니다. Normalizing Flow와 달리 확률 밀도 함수를 명시적으로 정의하지 않습니다.
– VAE (Variational Autoencoder): 잠재 공간에서 데이터 분포를 모델링하며, 확률론적 접근 방식을 사용합니다. Normalizing Flow는 VAE의 잠재 공간 표현을 개선하는 데 사용되기도 합니다.
– Normalizing Flow는 확률 밀도 함수의 명시적 표현이 가능하며, 역변환과 확률 계산이 용이하다는 점에서 GAN 및 VAE와 차별화됩니다.

이 내용을 바탕으로 Normalizing Flow의 수학적 원리, 주요 알고리즘, 그리고 다른 생성 모델과의 비교를 차근차근 학습하며 시험 준비에 활용하세요.