ㅁ 전이학습

ㅇ 정의:
기존에 학습된 모델의 가중치와 구조를 활용하여 새로운 데이터셋이나 문제에 적용하는 학습 기법으로, 학습 시간을 단축하고 적은 데이터로도 높은 성능을 낼 수 있음.

ㅇ 특징:
– 대규모 데이터로 사전 학습된 모델을 기반으로 함
– 모델의 일부 또는 전체 파라미터를 재사용
– 새로운 문제에 맞게 일부 층만 재학습하거나 전체를 fine-tuning 가능

ㅇ 적합한 경우:
– 새로운 데이터셋의 크기가 작을 때
– 원래 학습 데이터와 새로운 데이터가 유사한 특성을 가질 때

ㅇ 시험 함정:
– 원 데이터와 새로운 데이터의 특성이 크게 다르면 성능 저하 가능
– 전이학습이 항상 fine-tuning을 포함하는 것은 아님

ㅇ 시험 대비 “패턴 보기” 예시:
O: 전이학습은 기존 모델의 가중치를 활용하여 새로운 문제에 적용할 수 있다.
X: 전이학습은 반드시 모든 층을 재학습해야 한다.

================================

1. Feature Extraction

ㅇ 정의:
사전 학습된 모델의 내부 표현(특징 벡터)을 추출하여 새로운 데이터의 특징으로 사용하고, 이 특징을 기반으로 별도의 분류기나 회귀 모델을 학습하는 방법.

ㅇ 특징:
– 사전 학습 모델의 가중치를 고정(freeze)하여 사용
– 주로 출력층 직전의 은닉층 출력값을 특징으로 사용
– 계산 효율이 높고 과적합 위험이 낮음

ㅇ 적합한 경우:
– 새로운 데이터셋이 작고 원래 학습 데이터와 유사할 때
– 빠른 모델 개발이 필요할 때

ㅇ 시험 함정:
– Feature Extraction은 fine-tuning과 달리 사전 학습된 가중치를 변경하지 않음
– 특징 추출 후 반드시 딥러닝 모델만 사용해야 하는 것은 아님(전통 ML 모델도 가능)

ㅇ 시험 대비 “패턴 보기” 예시:
O: Feature Extraction은 사전 학습된 모델의 은닉층 출력을 새로운 데이터의 특징으로 활용한다.
X: Feature Extraction은 항상 사전 학습 모델의 모든 층을 재학습한다.

ㅁ 추가 학습 내용

Feature Extraction과 Fine-Tuning 비교
– 파라미터 업데이트 여부:
Feature Extraction은 사전 학습된 모델의 가중치를 고정하고 마지막 분류기 부분만 학습.
Fine-Tuning은 사전 학습된 모델의 일부 또는 전체 가중치를 학습 데이터에 맞게 재조정.

– 계산 비용:
Feature Extraction은 고정된 특징 추출기 사용으로 계산량과 학습 시간이 적음.
Fine-Tuning은 더 많은 파라미터를 업데이트하므로 계산량과 학습 시간이 큼.

– 데이터 요구량:
Feature Extraction은 적은 양의 데이터로도 가능.
Fine-Tuning은 안정적인 학습을 위해 더 많은 데이터가 필요.

Feature Extraction 시 층 선택 기준(CNN 기준)
– Conv Layer: 이미지의 저수준~중간 수준 특징(에지, 패턴, 질감 등)을 추출, 전이 가능성이 높음.
– Fully Connected Layer: 특정 데이터셋에 특화된 고수준 특징을 반영, 도메인 차이에 민감.

전통 머신러닝 모델과 결합 가능성
– Feature Extraction으로 얻은 벡터를 SVM, Random Forest, Logistic Regression 등 전통 ML 모델의 입력으로 사용 가능.
– 특히 데이터셋이 작거나 분류기가 단순할 때 효과적.

전이학습의 일반화 성능에 영향을 주는 요인
– 데이터 도메인 유사성: 사전 학습 데이터와 목표 데이터의 특성이 비슷할수록 성능이 좋음.
– 사전 학습 데이터의 다양성: 다양한 클래스와 상황을 포함할수록 범용적인 특징 학습 가능.
– 모델 구조 차이: 사전 학습 모델과 목표 작업의 구조적 적합성이 높을수록 전이 효율이 높음.