ㅁ 핵심 원리

ㅇ 정의:
– Reconstruction Loss는 VAE(Variational Autoencoder)에서 입력 데이터를 인코더와 디코더를 거쳐 재구성했을 때, 원본 데이터와 재구성된 데이터 간의 차이를 측정하는 손실 함수이다.
– 주로 MSE(Mean Squared Error) 또는 BCE(Binary Cross Entropy) 등을 사용한다.

ㅇ 특징:
– 데이터의 시각적/통계적 유사성을 보존하는 역할을 한다.
– VAE의 전체 손실은 Reconstruction Loss + KL Divergence로 구성되며, 두 요소 간의 균형이 중요하다.
– Reconstruction Loss가 너무 작아지는 데 집중하면 잠재공간(latent space)의 분포 학습이 약화될 수 있다.

ㅇ 적합한 경우:
– 이미지, 음성, 텍스트 등 입력 데이터의 구조를 최대한 보존해야 하는 생성 모델 학습.
– 데이터의 재현 품질을 높이고자 할 때.

ㅇ 시험 함정:
– Reconstruction Loss만 최소화하면 좋은 VAE 모델이 된다고 착각하기 쉽다. (KL Divergence와의 균형 필요)
– 손실 함수 선택 시 데이터 타입에 맞는 함수를 사용해야 함을 간과하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– (O) VAE의 Reconstruction Loss는 입력과 출력 간의 유사도를 측정한다.
– (X) Reconstruction Loss는 잠재변수의 분포를 정규분포로 만드는 역할을 한다.

ㅁ 추가 학습 내용

Reconstruction Loss는 데이터 타입에 따라 손실 함수를 다르게 선택한다.
픽셀 값이 0~1 범위인 이진 이미지에는 Binary Cross Entropy(BCE)를 사용하고, 연속적인 실수 값을 갖는 데이터에는 Mean Squared Error(MSE)를 주로 사용한다.
Variational Autoencoder(VAE)의 전체 손실은 Reconstruction Loss와 KL Divergence 항으로 구성되며, β-VAE에서는 β 파라미터를 통해 두 손실 항의 비중을 조절한다.
Reconstruction Loss가 지나치게 작아질 경우 잠재변수의 다양성이 감소하는 posterior collapse 현상이 발생할 수 있다.