ㅁ PEFT/Fine-tuning

ㅇ 정의:
사전 학습된 대규모 언어 모델(LLM)이나 딥러닝 모델의 전체 파라미터를 모두 업데이트하지 않고, 일부 파라미터나 추가 모듈만 학습하여 특정 작업에 맞게 미세 조정하는 방법.

ㅇ 특징:
– 전체 모델 파라미터 대비 학습해야 하는 파라미터 수가 매우 적어 메모리와 연산량을 절감.
– 원본 모델의 일반화 능력을 유지하면서 특정 도메인이나 태스크에 맞춘 성능 향상이 가능.
– LoRA, Prefix Tuning, Adapter 등 다양한 기법이 존재.
– 기존 모델을 재사용하므로 데이터와 환경 제약이 있는 경우에도 적용 용이.

ㅇ 적합한 경우:
– 대규모 모델을 특정 도메인(예: 의료, 법률)에 맞게 튜닝해야 하지만 자원(메모리, GPU)이 제한적인 경우.
– 여러 태스크에 대해 하나의 베이스 모델을 공유하면서 각 태스크별 맞춤 조정이 필요한 경우.
– 지속적인 업데이트가 필요한 환경에서 빠른 재학습이 필요한 경우.

ㅇ 시험 함정:
– 전체 파라미터를 모두 학습하는 Full Fine-tuning과 혼동.
– PEFT 기법별로 학습되는 파라미터의 위치와 방식이 다름을 간과.
– 파라미터 수 절감이 곧바로 성능 저하를 의미한다고 오해.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “PEFT는 전체 모델 파라미터의 일부만 학습하여 자원 소모를 줄인다.”
X: “PEFT는 반드시 전체 파라미터를 재학습해야 한다.”
X: “PEFT는 원본 모델의 가중치를 전혀 사용하지 않는다.”

ㅁ 추가 학습 내용

PEFT(Param-Efficient Fine-Tuning)의 대표 기법에는 LoRA(Low-Rank Adaptation), Prefix Tuning, Prompt Tuning, Adapter Tuning이 있으며, 각 기법은 학습되는 파라미터의 위치와 방식이 다르다.
LoRA는 특정 가중치 행렬을 저랭크 행렬로 분해하여 미세 조정한다.
Prefix Tuning은 입력 토큰 앞에 학습 가능한 벡터를 추가한다.

시험에서는 PEFT, Full Fine-tuning, Feature-based Approach(특징 추출 기반 접근)의 차이를 구분하는 문제가 자주 출제된다.

PEFT의 장점은 메모리 절감과 재학습 속도 향상이 있으며, 한계로는 성능 손실 가능성과 특정 태스크에만 적합하다는 점이 있다.

하이퍼파라미터 선택 시 랭크 크기와 학습률 설정이 중요하며, 적용 시 원본 모델의 동결 여부와 레이어 선택에 주의해야 한다.