ㅁ PEFT/Fine-tuning

1. Prefix Tuning

ㅇ 정의:
사전 학습된 언어 모델의 원래 파라미터를 고정한 채, 입력 토큰 앞에 학습 가능한 ‘prefix’ 벡터를 추가하여 모델의 출력을 원하는 방향으로 조정하는 미세 조정 기법.

ㅇ 특징:
– 전체 파라미터가 아닌 prefix 부분만 학습하므로 메모리와 학습 시간이 절약됨
– 원본 모델의 지식을 유지하면서 특정 작업에 맞게 조정 가능
– 다양한 작업에 대해 동일한 모델 베이스를 공유 가능

ㅇ 적합한 경우:
– 대규모 언어 모델을 여러 태스크에 적용해야 하지만 전체 파라미터를 모두 학습시키기 어려운 경우
– 클라우드 환경에서 메모리 제약이 있는 경우

ㅇ 시험 함정:
– Prefix Tuning은 입력에 학습 가능한 토큰을 추가하는 것이며, 모델의 모든 파라미터를 업데이트하는 Full Fine-tuning과 혼동하기 쉬움
– Prompt Tuning과 유사하지만, Prefix Tuning은 주로 Transformer의 각 층에 prefix를 삽입한다는 점이 다름

ㅇ 시험 대비 “패턴 보기” 예시:
O: Prefix Tuning은 사전 학습 모델의 파라미터를 고정한 채, 입력 앞에 학습 가능한 벡터를 추가하여 미세 조정한다.
X: Prefix Tuning은 모든 파라미터를 업데이트하여 작업에 맞춘다.

ㅁ 추가 학습 내용

Prefix Tuning은 Transformer 구조에서 각 층의 key와 value 부분에 prefix 벡터를 삽입하여 모델의 내부 처리 경로를 조정하는 방식이다. Prompt Tuning은 입력 임베딩 레벨에서 동작하는 반면, Prefix Tuning은 각 층 레벨에서 동작한다는 차이가 있다. Prefix 길이와 초기화 방식은 성능에 중요한 영향을 미치는 주요 하이퍼파라미터이다. 또한 Adapter, LoRA 등 다른 PEFT 기법과의 비교 포인트를 함께 이해하는 것이 중요하다.