ㅁ 전이학습

ㅇ 정의: 기존에 학습된 모델의 지식과 가중치를 새로운 문제 해결에 재활용하는 학습 방법. 대규모 데이터와 연산 자원 없이도 높은 성능을 달성할 수 있음.

ㅇ 특징: 사전학습(pre-trained) 모델 활용, 학습 시간 단축, 적은 데이터로도 가능, 특정 도메인 적합성 향상.

ㅇ 적합한 경우: 데이터 수집이 어렵거나 제한적인 경우, 유사한 도메인 문제를 해결할 때, 빠른 프로토타입이 필요한 경우.

ㅇ 시험 함정: 전이학습은 무조건 성능이 향상되는 것이 아님. 원본 데이터셋과 새로운 데이터셋의 분포 차이가 너무 크면 성능 저하 가능. Fine-tuning과 Feature Extraction 혼동 주의.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “전이학습은 사전학습된 모델을 활용하여 새로운 작업에 적용하는 방법이다.”
X: “전이학습은 항상 원본 모델보다 높은 성능을 보장한다.”

================================

1. Fine-tuning

ㅇ 정의: 사전학습된 모델의 모든(또는 대부분) 가중치를 새로운 데이터셋에 맞춰 다시 학습시키는 방법.

ㅇ 특징: 원래 모델의 특성을 유지하면서도 새로운 데이터에 맞춘 미세 조정 가능, 계산 비용이 높을 수 있음, 과적합 위험 존재.

ㅇ 적합한 경우: 사전학습 데이터와 새로운 데이터의 유사성이 높고 세부 차이를 반영해야 하는 경우.

ㅇ 시험 함정: Fine-tuning은 일부 레이어만 조정할 수도 있음. 모든 레이어를 무조건 학습하는 것이 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Fine-tuning은 사전학습된 모델의 파라미터를 새로운 데이터에 맞춰 조정하는 방법이다.”
X: “Fine-tuning은 반드시 모든 레이어의 가중치를 변경해야 한다.”

================================

2. Feature Extraction

ㅇ 정의: 사전학습된 모델의 가중치를 고정하고, 해당 모델이 추출한 특징 벡터를 새로운 모델의 입력으로 사용하는 방법.

ㅇ 특징: 학습 속도가 빠름, 과적합 위험 낮음, 사전학습 모델의 일반화 성능을 그대로 활용.

ㅇ 적합한 경우: 새로운 데이터셋이 작거나 사전학습 데이터와 유사성이 높을 때, 빠른 성능 확인이 필요할 때.

ㅇ 시험 함정: Feature Extraction은 모델 학습이 거의 없으므로 복잡한 도메인 적응이 어렵다는 점 주의.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Feature Extraction은 사전학습된 모델의 출력을 새로운 모델 입력으로 사용하는 방법이다.”
X: “Feature Extraction은 사전학습된 모델의 가중치를 변경하여 새로운 데이터에 맞춘다.”

================================

3. Domain Adaptation

ㅇ 정의: 원본 데이터와 다른 분포를 가진 새로운 도메인 데이터에서 성능을 유지하거나 향상시키기 위해 모델을 조정하는 방법.

ㅇ 특징: 데이터 분포 차이(도메인 갭) 최소화, 비지도 학습 또는 반지도 학습 기법 활용 가능, 특성 공간 매핑 기술 사용.

ㅇ 적합한 경우: 원본 데이터와 새로운 데이터의 분포 차이가 크지만 같은 작업(예: 분류)을 수행해야 할 때.

ㅇ 시험 함정: Domain Adaptation은 항상 레이블이 있는 데이터만 사용하는 것이 아님. 비지도 도메인 적응도 존재.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Domain Adaptation은 데이터 분포 차이를 줄여 새로운 도메인에서도 성능을 유지하도록 하는 방법이다.”
X: “Domain Adaptation은 반드시 라벨이 있는 데이터셋으로만 수행된다.”

================================