ㅁ PEFT/Fine-tuning

ㅇ 정의:
사전 학습된 대규모 언어 모델(LLM)의 전체 파라미터를 업데이트하지 않고, 특정 레이어에 저랭크 행렬(LoRA 모듈)을 추가하여 효율적으로 미세 조정하는 방법.

ㅇ 특징:
– 전체 모델 파라미터는 고정(freeze)하고, 추가된 저랭크 행렬만 학습.
– GPU 메모리 사용량과 학습 시간 절감.
– 원본 모델 성능 유지하면서 새로운 태스크에 적응 가능.
– 기존 파라미터를 변경하지 않으므로 원본 모델 재사용 용이.

ㅇ 적합한 경우:
– 대규모 모델을 제한된 자원에서 학습해야 하는 경우.
– 여러 태스크를 병렬로 학습하여 모델 버전을 다수 유지해야 하는 경우.
– 데이터가 적고, 특정 도메인에 특화된 성능 향상이 필요한 경우.

ㅇ 시험 함정:
– LoRA는 모든 레이어를 학습하는 것이 아니라 특정 레이어에만 적용한다는 점.
– 저랭크 행렬의 랭크 값이 높을수록 성능은 올라갈 수 있지만, 메모리 절감 효과는 감소.
– LoRA는 파라미터 효율적 미세 조정 기법이지, 모델 경량화(inference 가속)가 주목적인 것은 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “LoRA는 원본 모델 파라미터를 고정한 채 일부 추가 파라미터만 학습하여 자원 효율성을 높인다.”
– X: “LoRA는 전체 모델 파라미터를 모두 업데이트하여 성능을 높인다.”

ㅁ 추가 학습 내용

LoRA에서 저랭크 행렬 분해는 W ≈ W0 + BA 형태로 표현되며, A와 B가 학습되는 파라미터이다. 랭크 r 값은 보통 4~64 사이로 설정한다. r이 너무 작으면 모델의 표현력이 부족해지고, r이 너무 크면 메모리 절감 효과가 줄어든다. LoRA는 Adapter, Prefix Tuning 등 다른 PEFT(매개변수 효율적 미세조정) 기법과 비교해 시험에 자주 출제되므로, 각 기법의 차이점과 장단점을 함께 정리해야 한다. 또한 LoRA 적용 시 학습률, 랭크, 적용 레이어 선택이 성능에 미치는 영향을 이해하고 있어야 한다.