ㅁ PEFT/Fine-tuning

ㅇ 정의:
– PEFT(Fine-tuning)란 기존의 대형 모델에서 전체 가중치를 업데이트하지 않고, 일부 파라미터만 조정하여 효율적으로 학습을 수행하는 기법을 의미한다.

ㅇ 특징:
– 전체 모델을 업데이트하지 않아도 되므로 메모리와 계산 자원이 절약된다.
– 기존 모델의 성능을 최대한 유지하면서 특정 작업에 맞는 최적화를 수행할 수 있다.
– Fine-tuning 과정에서 데이터가 적어도 효과적으로 작동할 수 있다.

ㅇ 적합한 경우:
– 대규모 모델을 학습시킬 자원이 부족한 경우.
– 특정 도메인에 특화된 모델을 빠르게 생성해야 하는 경우.
– 사전 학습된 모델을 활용하여 추가적인 커스터마이징이 필요한 경우.

ㅇ 시험 함정:
– PEFT가 항상 모든 데이터셋에서 효과적인 것은 아니며, 데이터셋의 크기와 다양성에 따라 성능 차이가 발생할 수 있다.
– Fine-tuning 과정에서 과적합(overfitting)이 발생할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “PEFT는 대규모 모델의 모든 파라미터를 업데이트하지 않고 일부만 조정하여 효율적으로 학습한다.”
– X: “PEFT는 대규모 모델의 모든 파라미터를 반드시 업데이트해야 한다.”

================================

ㅁ 추가 학습 내용

PEFT와 Fine-tuning의 차이점은 조정 범위와 방식에 있다. PEFT(Parametric Efficient Fine-Tuning)는 모델 전체를 조정하지 않고, 특정 작업에 필요한 부분만 조정하는 효율적인 방법이다. 이는 모델의 핵심 구조를 유지하면서 필요한 부분만 적응시키는 방식으로, 속도와 자원 효율성을 높인다. 반면, 일반적인 Fine-tuning은 모델 전체를 조정하는 방식으로, 더 많은 데이터와 계산 자원이 필요할 수 있다.

PEFT의 구체적인 기술 사례로 LoRA(Low-Rank Adaptation)가 있다. LoRA는 모델의 특정 파라미터를 저차원 공간에서 조정하여, 파라미터 수를 줄이고 계산 효율성을 높이는 방식이다. 이를 통해 고성능을 유지하면서도 적은 자원으로 특정 작업에 적응할 수 있다. LoRA는 특히 대규모 언어 모델에서 활용도가 높다.

시험 대비를 위해 PEFT와 Fine-tuning의 정의, 차이점, 그리고 LoRA와 같은 PEFT 기술 사례를 명확히 이해하고, 각각의 장단점을 정리해 두는 것이 중요하다.