ㅁ Contrastive/Self-supervised 학습

ㅇ 정의:
Contrastive/Self-supervised 학습은 레이블이 없는 데이터에서 표현 학습을 수행하며, 데이터 간의 유사성과 차이를 학습하는 방법론이다.

ㅇ 특징:
– 레이블이 없는 데이터 활용 가능.
– 데이터의 구조적 특징을 학습.
– 대규모 데이터셋에서 효율적.

ㅇ 적합한 경우:
– 레이블이 부족하거나 없는 경우.
– 데이터 간 관계를 학습해야 하는 경우.
– 사전 학습(Pretraining) 단계에서 활용.

ㅇ 시험 함정:
– Contrastive 학습과 Self-supervised 학습의 차이를 혼동할 수 있음.
– 데이터 증강의 중요성을 간과할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– Contrastive 학습은 레이블이 없는 데이터에서 작동하지 않는다. (X)
– Self-supervised 학습은 데이터의 구조적 관계를 학습한다. (O)

================================

1. negative sample

ㅇ 정의:
Negative sample은 Contrastive 학습에서 anchor 데이터와 유사하지 않은 데이터 쌍을 의미하며, 모델이 차이를 학습하도록 돕는다.

ㅇ 특징:
– 데이터 간 차이를 강조.
– 모델의 일반화 성능 향상에 기여.
– 데이터 증강 기법과 함께 사용.

ㅇ 적합한 경우:
– 데이터 간의 명확한 차이를 학습할 필요가 있는 경우.
– 대규모의 unlabeled 데이터셋을 사용하는 경우.

ㅇ 시험 함정:
– Negative sample과 positive sample의 정의를 혼동할 수 있음.
– Negative sample 선택 과정에서 bias가 생길 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– Negative sample은 항상 anchor 데이터와 동일한 클래스에서 선택된다. (X)
– Negative sample은 anchor 데이터와 다른 특성을 가진다. (O)

ㅁ 추가 학습 내용

Contrastive/Self-supervised 학습에서 데이터 증강과 관련된 주요 개념과 학습 포인트는 다음과 같습니다.

1. **데이터 증강의 역할**:
– Contrastive/Self-supervised 학습에서 데이터 증강은 동일한 데이터로부터 다양한 변형(positive sample)을 생성하여 모델이 데이터의 본질적인 표현을 학습하도록 돕는 데 중요한 역할을 합니다.
– 데이터 증강은 모델이 다양한 조건에서도 데이터의 핵심 특징을 인식할 수 있도록 하여 일반화 능력을 향상시킵니다.

2. **Positive sample 생성**:
– Positive sample은 원본 데이터와 동일한 의미를 가지는 변형된 데이터를 말합니다.
– 이를 위해 사용되는 주요 증강 방법:
– **회전(Rotation)**: 이미지를 특정 각도로 회전.
– **크롭(Cropping)**: 이미지를 임의로 자르거나 확대.
– **색상 변화(Color Jittering)**: 밝기, 대비, 채도 등을 조정.
– **수평/수직 뒤집기(Flipping)**: 이미지를 좌우 또는 상하 반전.
– **블러링(Blurring)**: 이미지를 흐리게 처리.
– 증강 방법의 선택과 조합은 모델 성능에 큰 영향을 미치며, 적절한 증강 기법을 선택하는 것이 중요합니다.

3. **Negative sample의 선택과 false negative 문제**:
– Negative sample은 원본 데이터와 다른 의미를 가지는 데이터를 말합니다.
– 그러나 실제로 유사한 데이터가 negative로 잘못 선택되는 경우가 발생할 수 있습니다. 이를 false negative 문제라고 합니다.
– False negative 문제의 주요 원인:
– 데이터셋 내에서 유사한 데이터가 많을 경우.
– 데이터 증강 기법이 지나치게 강한 변형을 적용하여 유사성을 손실하는 경우.
– False negative 문제에 대한 대처 방법:
– **Hard negative mining**: 모델이 학습하기 어렵다고 판단되는 negative sample을 선택하여 학습.
– **Temperature scaling**: Contrastive loss 계산 시 온도 매개변수를 조정하여 false negative의 영향을 완화.
– **클러스터링 기법 활용**: 데이터의 유사도를 기반으로 클러스터링하여 실제로 유사한 데이터가 negative로 선택되지 않도록 조정.
– **Memory bank**: 과거의 샘플 정보를 저장하고 활용하여 보다 정교한 negative sample 선택.

4. **학습 시 고려사항**:
– 데이터 증강의 강도를 조절하여 positive sample이 원본 데이터와 너무 다르지 않도록 주의.
– False negative 문제를 최소화하기 위해 데이터의 구조적 유사성을 고려한 샘플링 전략 설계.
– 다양한 증강 기법을 실험적으로 적용하여 모델 성능에 미치는 영향을 평가.

이러한 내용을 바탕으로 Contrastive/Self-supervised 학습에서 데이터 증강과 negative sample 처리의 중요성을 이해하고, 적절한 기법을 선택할 수 있도록 학습하는 것이 중요합니다.