ㅁ 대규모 모델 활용

ㅇ 정의:
사전에 대규모 데이터로 학습된 파운데이션 모델을 특정 도메인 또는 과업에 맞게 추가 학습시키는 기법.

ㅇ 특징:
– 기존 모델의 가중치를 초기값으로 사용하여 학습 시간을 단축.
– 적은 양의 데이터로도 높은 성능을 발휘 가능.
– 사전 학습된 언어/비전 지식 활용.

ㅇ 적합한 경우:
– 특정 산업 분야(의료, 금융 등)에 특화된 모델이 필요한 경우.
– 데이터 수집이 제한적인 환경.
– 기존 모델의 일반화 능력을 유지하면서 세부 기능을 강화하고자 할 때.

ㅇ 시험 함정:
– 파인튜닝과 전이학습(Transfer Learning)을 혼동.
– 전체 가중치 재학습과 일부 계층 고정 학습의 차이를 구분하지 못함.
– 사전 학습 데이터와 파인튜닝 데이터의 분포 차이에 따른 성능 저하를 간과.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “파인튜닝은 사전 학습된 모델을 특정 작업에 맞게 추가 학습하는 과정이다.”
X: “파인튜닝은 모델을 처음부터 학습하는 것을 의미한다.”

ㅁ 추가 학습 내용

파인튜닝 시 고려해야 할 주요 전략은 다음과 같다.
Full Fine-tuning은 모델 전체 파라미터를 업데이트하는 방식으로, 성능 향상 폭이 크지만 메모리와 연산 비용이 많이 든다.
Partial Fine-tuning은 특정 층만 업데이트하여 연산 효율성을 높이고 과적합 위험을 줄일 수 있다.
Adapter 기반 Fine-tuning은 기존 모델에 작은 모듈(Adapter)을 추가해 학습하는 방식으로, 원본 파라미터를 유지하면서 적은 자원으로 다양한 태스크에 적용 가능하다.
LoRA(Low-Rank Adaptation)는 가중치를 저랭크 행렬로 분해하여 학습 파라미터 수를 줄이고 메모리 사용량과 연산량을 절감하는 기법이다.

각 방법은 성능, 자원 효율성, 적용 용이성 측면에서 차이가 있으므로 목적과 환경에 맞게 선택해야 한다.

파인튜닝 과정에서 발생할 수 있는 Catastrophic Forgetting(기존 지식 상실) 문제를 완화하기 위해 EWC(Elastic Weight Consolidation)나 Regularization 기법을 사용할 수 있다.

또한, 데이터 전처리의 적절성, 학습률 설정, Early Stopping 등 하이퍼파라미터 튜닝 요소를 잘 조정하는 것이 실무 적용 시 중요하다.