ㅁ PEFT/Fine-tuning

ㅇ 정의:

ㅇ 특징:

ㅇ 적합한 경우:

ㅇ 시험 함정:

ㅇ 시험 대비 “패턴 보기” 예시:

================================

1. Prefix Tuning

ㅇ 정의:
Prefix Tuning은 사전 학습된 언어 모델(Pre-trained Language Model)의 가중치를 고정한 채, 입력 데이터의 prefix(접두어)에 해당하는 작은 파라미터 집합만을 학습시키는 방법이다. 이를 통해 전체 모델을 재학습하지 않고도 특정 태스크에 맞는 성능 개선이 가능하다.

ㅇ 특징:
– 기존 모델의 가중치를 변경하지 않으므로 메모리 사용량이 적다.
– 소량의 데이터로도 특정 태스크에 적합한 성능을 낼 수 있다.
– 적은 계산 리소스로 빠르게 학습 가능하다.
– 다중 태스크에 대해 효율적으로 적용 가능하다.

ㅇ 적합한 경우:
– 대규모 언어 모델을 미세 조정할 리소스가 부족한 경우.
– 다중 태스크 환경에서 모델의 가중치를 공유해야 하는 경우.
– 특정 태스크에 대해 경량화된 학습이 필요한 경우.

ㅇ 시험 함정:
– Prefix Tuning과 Fine-tuning의 차이점을 혼동할 수 있음.
– Prefix Tuning의 메모리 효율성을 과대평가하는 질문에 주의.
– Prefix Tuning이 모든 태스크에서 효과적이라고 단정짓는 표현에 유의.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Prefix Tuning은 사전 학습된 모델의 가중치를 고정한 채, prefix 파라미터만 학습시킨다.
– X: Prefix Tuning은 전체 모델의 가중치를 조정하여 특정 태스크에 맞춘다.
– O: Prefix Tuning은 메모리 효율적이고 다중 태스크 학습에 적합하다.
– X: Prefix Tuning은 모든 태스크에서 Fine-tuning보다 우수하다.

ㅁ 추가 학습 내용

Prefix Tuning의 한계점과 관련된 주요 내용을 정리하면 다음과 같습니다:

1. 특정 태스크에서의 성능 저하:
– Prefix Tuning은 모든 태스크에서 Fine-tuning보다 항상 우수한 성능을 보장하지 않습니다. 특히, 데이터 양이 적거나 태스크의 복잡도가 높은 경우에는 Fine-tuning이 더 나은 결과를 제공할 수 있습니다. 이는 Prefix Tuning이 모델의 모든 파라미터를 조정하지 않고, 제한된 범위에서만 조정을 가하기 때문입니다.

2. Prefix 길이에 따른 성능 민감도:
– Prefix Tuning에서 사용하는 Prefix의 길이는 모델 성능에 큰 영향을 미칠 수 있습니다. Prefix가 너무 짧으면 모델이 충분한 학습 신호를 얻지 못할 수 있고, 반대로 너무 길면 불필요한 계산 비용이 증가하고 과적합의 가능성이 높아질 수 있습니다. 따라서 적절한 Prefix 길이를 설정하는 것이 중요합니다.

3. Parameter-Efficient Fine-Tuning(PEFT)의 다른 기술들과의 비교:
– Prompt Tuning: Prefix Tuning과 유사하게 모델의 파라미터를 고정하고 입력에 추가적인 정보를 제공하는 방식이지만, Prompt Tuning은 주로 입력 텍스트에 직접적으로 영향을 미치는 텍스트 기반 프롬프트를 사용합니다. Prefix Tuning은 모델 내부의 임베딩 공간에서 조정을 가한다는 점에서 차이가 있습니다.
– Adapter Tuning: Adapter Tuning은 모델의 각 레이어에 소규모의 네트워크(어댑터)를 추가하여 학습을 진행합니다. 이는 모델의 기존 파라미터를 거의 변경하지 않으면서도 높은 유연성과 성능을 제공하지만, Prefix Tuning보다 더 많은 추가 파라미터가 필요할 수 있습니다.
– LoRA(Low-Rank Adaptation): LoRA는 모델의 특정 레이어에 저차원 행렬을 추가하여 학습을 진행하는 방법으로, Prefix Tuning과 마찬가지로 파라미터 효율적인 학습을 목표로 하지만, 적용 방식과 계산 비용에서 차이가 있습니다.

이러한 비교를 통해 Prefix Tuning의 장단점을 이해하고, 태스크에 적합한 PEFT 기법을 선택하는 것이 중요합니다.