ㅁ 적합성/장점

ㅇ 정의:
특정 생성 모델이 데이터 분포의 다양한 모드를 제대로 학습하지 못하고 일부 모드에만 집중하는 현상.

ㅇ 특징:
– 생성된 샘플들이 다양성이 부족하고 특정 패턴에만 집중.
– 데이터 분포의 일부만 재현 가능.
– GAN(Generative Adversarial Networks)에서 자주 발생.

ㅇ 적합한 경우:
– 데이터의 특정 모드만 필요로 하는 응용 분야.
– 단일 패턴이나 객체를 생성하는 것이 유리한 경우.

ㅇ 시험 함정:
– ‘모드 붕괴는 데이터 분포 전체를 잘 학습한 상태를 의미한다.’는 식의 혼동을 유발하는 문장.
– 모드 붕괴를 오히려 모델의 성능 향상으로 잘못 설명하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 모드 붕괴는 생성 모델이 데이터 분포의 일부만 학습하여 다양성이 부족한 샘플을 생성하는 현상이다.
– X: 모드 붕괴는 모든 모드를 완벽히 학습하여 높은 다양성을 보이는 상태를 의미한다.

ㅁ 추가 학습 내용

모드 붕괴를 방지하기 위한 주요 기술적 접근 방법은 다음과 같이 정리할 수 있습니다:

1. **WGAN(Wasserstein GAN)**:
– WGAN은 Wasserstein 거리(지구이동 거리)를 손실 함수로 사용하여 GAN의 학습을 안정화하고 모드 붕괴를 완화합니다.
– 기존 GAN에서 발생할 수 있는 불안정한 학습 문제를 개선하며, 생성된 데이터 분포와 실제 데이터 분포 간의 차이를 더 잘 측정할 수 있습니다.
– WGAN은 판별자 대신 크리틱(critic)을 사용하며, Lipschitz 연속성을 보장하기 위해 크리틱의 가중치를 클리핑하거나, WGAN-GP(WGAN with Gradient Penalty)와 같은 변형을 통해 이를 강화합니다.

2. **다양한 평가 지표를 활용한 모드 붕괴 판단**:
– FID(Frechet Inception Distance): 생성된 데이터와 실제 데이터 간의 분포 차이를 측정하며, 낮은 FID 값은 더 높은 품질의 생성 결과를 의미합니다.
– IS(Inception Score): 생성된 데이터의 다양성과 품질을 평가하는 지표로, 높은 IS 값은 더 나은 성능을 나타냅니다.
– 이 지표들은 생성된 샘플의 품질뿐만 아니라 다양성을 평가하는 데도 유용하며, 모드 붕괴 여부를 간접적으로 판단하는 데 활용됩니다.

3. **다른 GAN 변형 모델의 기여**:
– Mode-Seeking GAN: 생성된 데이터의 다양성을 높이기 위해 설계된 모델로, 모드 붕괴를 줄이는 데 도움을 줍니다.
– Unrolled GAN: 판별자의 손실 함수가 생성자의 업데이트에 미치는 영향을 고려하여 모드 붕괴를 완화합니다.
– VAE-GAN: 변분 오토인코더(VAE)와 GAN을 결합하여 데이터의 잠재 공간을 더 잘 학습하고 모드 붕괴를 줄입니다.

4. **기타 기술적 접근**:
– 노이즈 추가 및 데이터 증강: 학습 데이터를 다양화하여 모드 붕괴를 방지하는 방법입니다.
– 다중 판별자 사용: 여러 판별자를 활용하여 다양한 데이터 분포를 학습하도록 유도합니다.
– 학습률 조정 및 하이퍼파라미터 튜닝: 적절한 학습률과 하이퍼파라미터 설정은 GAN의 학습 안정성을 높이고 모드 붕괴를 줄이는 데 기여합니다.

이러한 접근 방법들은 GAN 모델의 성능을 개선하고 모드 붕괴 문제를 해결하는 데 중요한 역할을 합니다.