ㅁ 주요 문제

ㅇ 정의:
생성모델 GANs에서 발생하는 문제로, 생성자가 다양한 데이터 분포를 학습하지 못하고 특정 패턴의 데이터만 생성하는 현상을 말한다.

ㅇ 특징:
– 생성된 데이터가 다양성이 부족함.
– 특정 클래스나 데이터 패턴에만 집중.
– 판별자는 이를 쉽게 탐지하지 못할 수 있음.

ㅇ 적합한 경우:
– 데이터 다양성이 필요하지 않거나 특정 패턴의 데이터만 요구되는 경우 제한적으로 활용 가능.

ㅇ 시험 함정:
– Mode Collapse를 단순히 생성모델의 실패로만 정의하는 경우.
– Mode Collapse와 Overfitting을 혼동하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
1. Mode Collapse는 생성모델이 모든 데이터 분포를 완벽히 학습한 상태를 의미한다. (X)
2. Mode Collapse는 생성된 데이터의 다양성이 부족한 문제를 의미한다. (O)

ㅁ 추가 학습 내용

Mode Collapse를 방지하기 위한 주요 기술들을 학습하기 위해 아래 내용을 정리합니다:

1. **Unrolled GANs**:
– 기본 원리: 생성자가 판별자의 업데이트를 예측하여 학습하며, 판별자의 여러 단계 업데이트를 “롤백”하여 생성자의 학습에 반영함으로써 생성자와 판별자 간의 균형을 유지한다.
– 적용 사례: 생성자가 지나치게 특정 데이터 모드에 치우치지 않도록 하여 다양한 데이터를 생성할 수 있도록 한다.

2. **Minibatch Discrimination**:
– 기본 원리: 판별자가 개별 샘플뿐만 아니라 샘플의 집합(미니배치) 간의 관계를 학습하도록 만들어 데이터 다양성을 평가할 수 있게 한다.
– 적용 사례: 생성된 데이터가 동일하거나 유사한 패턴으로 반복되지 않도록 하여 모드 붕괴를 방지한다.

3. **Wasserstein GANs (WGAN)**:
– 기본 원리: Wasserstein 거리(지구 거리)를 사용하여 생성자와 판별자 간의 손실을 측정하며, 판별자의 역할을 크리틱(critic)으로 변경하여 데이터 간의 분포 차이를 효과적으로 평가한다.
– 적용 사례: 안정적인 학습을 제공하며, 모드 붕괴를 줄이고 데이터의 다양성을 보장하는 데 도움을 준다.

각 기술의 기본 원리를 이해하고 실제 적용 사례를 학습하면, 시험 대비에 필요한 깊이 있는 지식을 쌓을 수 있습니다.