ㅁ 전이학습

ㅇ 정의:
이미 학습된 모델의 가중치를 기반으로 새로운 데이터셋에 맞게 일부 또는 전체를 재학습하는 기법.

ㅇ 특징:
– 기존 대규모 데이터로 사전 학습된 모델 활용.
– 학습 시간과 데이터 요구량 감소.
– 특정 도메인에 맞춰 성능 향상 가능.

ㅇ 적합한 경우:
– 데이터셋이 작고, 새로운 과제와 기존 사전학습 과제가 유사한 경우.
– 컴퓨팅 자원이 제한된 환경.

ㅇ 시험 함정:
– 기존 모델과 전혀 다른 도메인일 경우 성능이 떨어질 수 있음.
– Fine-tuning 시 학습률 설정이 중요(너무 크면 기존 지식 소실, 너무 작으면 수렴 느림).

ㅇ 시험 대비 “패턴 보기” 예시:
O: “사전 학습된 모델을 기반으로 일부 가중치를 조정하여 새로운 태스크에 적용하는 방법이다.”
X: “전이학습은 항상 모든 레이어를 처음부터 학습하는 것을 의미한다.”

================================

1. Fine-tuning

ㅇ 정의:
사전학습된 모델의 가중치를 초기값으로 하여, 새로운 데이터셋에 맞게 전체 또는 일부 레이어를 재학습하는 방법.

ㅇ 특징:
– 기존 지식을 유지하면서 새로운 데이터 특성 반영.
– 전이학습 중 가장 많이 사용되는 방식.
– 학습률 조정이 핵심.

ㅇ 적합한 경우:
– 새로운 태스크가 기존 태스크와 유사도가 높을 때.
– 충분한 데이터가 있지만 처음부터 학습하기에는 비효율적일 때.

ㅇ 시험 함정:
– 모든 레이어를 동등하게 학습시키면 오히려 성능이 저하될 수 있음.
– Feature extractor로만 사용하는 것과 혼동.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Fine-tuning은 사전학습 모델의 일부 또는 전체를 재학습하여 새로운 문제에 적합하게 조정하는 기법이다.”
X: “Fine-tuning은 항상 마지막 레이어만 학습하는 것을 의미한다.”

ㅁ 추가 학습 내용

Fine-tuning과 관련하여 알아두어야 할 핵심 사항 정리

1. Feature extraction과의 비교
– Feature extraction은 사전학습된 모델의 가중치를 고정하고 마지막 분류기만 학습하는 방식이다.
– Fine-tuning은 일부 또는 전체 레이어를 재학습하여 모델을 미세 조정한다.

2. Layer freezing 전략
– 초기에는 하위 레이어를 고정하고 상위 레이어만 학습한다.
– 이후 점차 하위 레이어의 고정을 해제하며 전체를 미세 조정하는 방식이 효율적일 수 있다.

3. Catastrophic forgetting 방지
– 학습률 스케줄링, 가중치 감쇠(weight decay) 등을 활용하여 기존 지식이 급격히 소실되는 것을 방지한다.

4. 도메인 차이에 따른 성능 변화
– 사전학습 데이터와 목표 데이터의 분포 차이가 클 경우 성능이 저하될 수 있다.
– 필요 시 도메인 적응(domain adaptation) 기법을 병행하는 것이 좋다.

5. 전이학습 평가 지표
– 단순 정확도 외에도 F1-score, Recall 등 불균형 데이터셋에서의 성능을 측정하는 지표가 중요하다.