ㅁ 핵심 원리

ㅇ 정의:
생성모델 VAE의 핵심 원리로, 입력 데이터를 잠재 공간(latent space)으로 압축 후 복원하며 손실을 측정하는 과정.

ㅇ 특징:
재구성 손실은 입력 데이터와 복원된 데이터 간의 차이를 최소화하는 방향으로 작동하며, 일반적으로 평균 제곱 오차(MSE)를 사용.

ㅇ 적합한 경우:
데이터의 복원 품질을 평가하거나 잠재 공간의 구조를 분석할 때 유용.

ㅇ 시험 함정:
재구성 손실이 낮다고 해서 반드시 모델이 데이터를 잘 학습했다고 볼 수 없으며, 과적합(overfitting)의 가능성을 고려해야 함.

ㅇ 시험 대비 “패턴 보기” 예시:
1. 재구성 손실은 입력 데이터와 복원된 데이터 간의 차이를 측정한다. (O)
2. 재구성 손실은 잠재 공간의 크기를 결정한다. (X)

========================

1. Reconstruction Loss

ㅇ 정의:
입력 데이터와 복원된 데이터 간의 차이를 측정하여 모델 성능을 평가하는 지표.

ㅇ 특징:
평균 제곱 오차(MSE) 또는 교차 엔트로피를 사용하며, 데이터의 복원 품질과 잠재 공간의 표현력을 간접적으로 나타냄.

ㅇ 적합한 경우:
생성모델의 품질 평가, 잠재 공간의 구조 분석, 데이터 복원 성능 비교.

ㅇ 시험 함정:
재구성 손실이 낮아도 과적합 가능성이 있으므로 잠재 공간의 일반화 능력을 함께 평가해야 함.

ㅇ 시험 대비 “패턴 보기” 예시:
1. Reconstruction Loss는 평균 제곱 오차를 사용할 수 있다. (O)
2. Reconstruction Loss는 잠재 공간의 차원을 직접적으로 측정한다. (X)

ㅁ 추가 학습 내용

1. **VAE에서 KL Divergence의 역할과 중요성**
– KL Divergence는 VAE의 잠재 공간 분포를 평가하는 데 사용되는 핵심적인 요소입니다.
– VAE는 입력 데이터를 잠재 공간으로 인코딩하여 잠재 변수 z를 생성하고, 이를 다시 디코딩하여 원본 데이터를 재구성합니다.
– 잠재 공간의 분포가 특정한 목표 분포(일반적으로 표준 정규 분포)에 가까워지도록 유도하는 것이 KL Divergence의 역할입니다.
– KL Divergence는 잠재 변수 분포 q(z|x)와 목표 분포 p(z) 간의 차이를 측정하며, 이를 최소화함으로써 잠재 공간의 구조를 정규화하고 일반화 성능을 향상시킵니다.
– 이 과정은 모델이 새로운 데이터에 대해 잘 일반화할 수 있도록 돕고, 잠재 공간에서 의미 있는 표현을 학습하는 데 기여합니다.

2. **VAE에서 발생할 수 있는 분산 붕괴 문제**
– 분산 붕괴 문제는 잠재 공간의 분포가 지나치게 좁아져서 모든 데이터 포인트가 거의 동일한 잠재 변수로 매핑되는 현상을 의미합니다.
– 이는 모델이 잠재 공간을 효과적으로 활용하지 못하게 하며, 데이터 표현력이 떨어지게 만듭니다.
– 분산 붕괴는 KL Divergence 항이 지나치게 강하게 작용하거나 학습 초기에 재구성 손실과 KL 손실 간의 균형이 맞지 않을 때 발생할 수 있습니다.

3. **분산 붕괴 문제를 해결하기 위한 기법들**
– **KL Annealing**: 학습 초기에는 KL 손실의 가중치를 낮게 설정하여 재구성 손실에 집중하게 하고, 점진적으로 KL 손실의 가중치를 증가시켜 잠재 공간의 분포를 조정합니다.
– **Free Bits**: KL 손실의 하한을 설정하여 잠재 공간의 분산이 너무 좁아지는 것을 방지합니다.
– **β-VAE**: KL 손실에 가중치 β를 부여하여 재구성 손실과 KL 손실 간의 균형을 조정합니다. β 값을 조정함으로써 잠재 공간의 표현력을 개선할 수 있습니다.
– **Disentangled Representation Learning**: 잠재 변수 간의 독립성을 보장하여 각 변수의 역할을 명확히 하고, 잠재 공간의 붕괴를 방지합니다.
– **Alternative Regularization Techniques**: KL Divergence 대신 다른 정규화 기법을 사용하여 잠재 공간을 효과적으로 제어할 수 있습니다.

이 내용을 바탕으로 VAE의 핵심 개념과 문제 해결 방법을 학습하면 시험 대비에 유리할 것입니다.