ㅁ PEFT/Fine-tuning

ㅇ 정의:
사전 학습된 대규모 언어모델(LLM)이나 딥러닝 모델의 모든 파라미터를 업데이트하지 않고, 특정 저차원 행렬(랭크가 낮은 행렬)만 학습하여 모델을 효율적으로 미세 조정하는 방법.

ㅇ 특징:
– 전체 파라미터 대비 학습해야 하는 파라미터 수가 매우 적어 메모리와 연산량 절감.
– 원본 모델의 성능을 크게 훼손하지 않으면서 특정 태스크에 적합하게 조정 가능.
– LoRA(Low-rank Adaptation) 방식이 대표적.

ㅇ 적합한 경우:
– 클라우드나 로컬 환경에서 GPU 메모리가 제한적인 경우.
– 여러 도메인별로 모델을 빠르게 전환/적용해야 하는 경우.
– 전체 파라미터 업데이트가 보안·정책상 불가능한 경우.

ㅇ 시험 함정:
– LoRA는 파라미터 수를 줄이는 것이 아니라, 학습해야 하는 파라미터의 범위를 줄이는 것임.
– Low-rank는 모델 전체의 랭크를 낮춘다는 의미가 아님.
– PEFT와 LoRA를 동일시하면 오답.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “LoRA는 사전 학습된 모델의 일부 저차원 행렬만 학습하여 효율적 미세 조정을 가능하게 한다.”
X: “LoRA는 모델의 전체 파라미터 수를 줄여 추론 속도를 높인다.”

ㅁ 추가 학습 내용

LoRA는 주로 Transformer 구조에서 Query, Value 가중치에 저차원 행렬을 삽입하여 학습한다. 랭크 값(r)은 성능과 효율성 사이의 트레이드오프를 결정하는 핵심 하이퍼파라미터이다. LoRA는 기존 가중치에 병렬로 저차원 행렬을 추가하고, 추론 시 이를 합산하여 원본과 동일한 차원의 가중치를 형성한다. Adapter, Prefix-tuning, Prompt-tuning 등 다른 PEFT 기법과의 차이점을 구분할 수 있어야 한다. 시험에서는 LoRA 적용 시 원본 파라미터가 고정(freeze)된다는 점과 학습 후 병합(merge) 가능 여부를 물을 수 있다. 또한 LoRA는 파라미터 효율성뿐 아니라 동일한 베이스 모델에 대해 여러 태스크에 특화된 LoRA 모듈을 교체하여 사용할 수 있다는 점도 중요한 출제 포인트이다.