ㅁ Contrastive/Self-supervised 학습

ㅇ 정의:
레이블이 없는 데이터에서 인공적으로 생성한 학습 과제를 통해 유용한 표현을 학습하는 방식. 주어진 데이터로부터 입력 쌍을 만들거나 변형을 가해 모델이 특정 관계를 구분하도록 학습시킨다.

ㅇ 특징:
– 데이터 라벨링 비용 절감
– 다양한 도메인에 적용 가능
– 다운스트림 태스크 성능 향상에 기여
– 데이터 증강 기법과 밀접한 관련

ㅇ 적합한 경우:
– 라벨 데이터가 부족한 경우
– 대규모 비정형 데이터(이미지, 음성, 텍스트)에서 특징 추출이 필요한 경우
– 사전 학습 후 전이학습을 계획하는 경우

ㅇ 시험 함정:
– pretext task와 downstream task의 구분을 혼동할 수 있음
– contrastive learning과 self-supervised learning을 동일시하는 오류
– pretext task가 반드시 간단한 과제여야 하는 것은 아님

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Self-supervised 학습에서 pretext task는 레이블 없이 학습할 수 있도록 설계된 인공 과제이다.”
X: “pretext task는 항상 downstream task와 동일한 목표를 가진다.”

================================

1. pretext task

ㅇ 정의:
Self-supervised 학습에서 레이블 없이 모델이 학습할 수 있도록 인위적으로 설계한 사전 학습 과제. 주어진 데이터에서 일부 정보를 숨기거나 변형하여 모델이 이를 복원·예측하도록 함.

ㅇ 특징:
– 원본 데이터로부터 자동 생성 가능
– 다양한 변형 기법(마스킹, 회전, 순서 섞기 등) 사용
– 학습된 표현이 다른 태스크에 전이 가능
– 설계에 따라 성능 차이가 큼

ㅇ 적합한 경우:
– 대규모 비라벨 데이터 활용
– 도메인 특화 표현 학습 필요
– 사전 학습 후 전이학습 기반 모델 구축

ㅇ 시험 함정:
– pretext task 결과를 그대로 최종 목적에 사용한다고 오해
– 단일 pretext task만으로 모든 downstream task 성능이 보장된다고 생각하는 오류
– 데이터 증강과 pretext task의 역할 혼동

ㅇ 시험 대비 “패턴 보기” 예시:
O: “이미지에서 일부 패치를 마스킹하고 이를 예측하는 것은 pretext task의 한 예이다.”
X: “pretext task는 반드시 분류 문제 형태여야 한다.”

ㅁ 추가 학습 내용

pretext task 설계 시에는 학습된 표현이 다양한 downstream task에 일반화될 수 있도록 과제를 구성해야 한다.
이미지 도메인 예시: 회전 예측, 색상 복원, 패치 순서 맞추기
텍스트 도메인 예시: 다음 문장 예측, 마스크 토큰 예측
contrastive learning에서는 positive/negative pair 생성 전략이 성능에 큰 영향을 미친다.

시험 출제 포인트
1. pretext task와 fine-tuning(혹은 downstream task)의 차이
2. 특정 예시가 pretext task인지 여부 구분
3. self-supervised와 unsupervised의 차이: 학습 목표와 라벨 생성 방식 차이