ㅁ PEFT/Fine-tuning

ㅇ 정의:
– PEFT(Fine-tuning)란 사전 학습된 모델을 특정 작업에 맞게 조정하는 기법으로, 모델의 일부 파라미터만 조정하거나 추가적인 파라미터를 최소한으로 추가하여 효율성을 높이는 방법을 포함한다.

ㅇ 특징:
– 기존 모델의 구조를 최대한 유지하면서도 특정 작업에 적합한 성능을 발휘할 수 있다.
– 데이터와 연산 자원을 절약할 수 있는 설계가 가능하다.

ㅇ 적합한 경우:
– 대규모 사전 학습된 모델을 사용할 때 리소스 제약이 있는 환경에서 특정 작업에 맞게 조정해야 할 경우.

ㅇ 시험 함정:
– PEFT와 일반 Fine-tuning의 차이점을 혼동하거나, PEFT의 다양한 접근법을 정확히 이해하지 못하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “PEFT는 사전 학습된 모델의 일부 파라미터만 조정하여 특정 작업에 활용한다.”
– X: “PEFT는 모델 전체를 재학습하여 특정 작업에 맞춘다.”

================================

1. Low-rank Adaptation

ㅇ 정의:
– Low-rank Adaptation(LORA)은 대규모 모델의 특정 작업에 대한 적응을 위해 모델의 일부 파라미터를 저차원 행렬로 분해하여 학습하는 기법이다.

ㅇ 특징:
– 모델 크기와 학습 파라미터 수를 줄여 메모리와 계산 비용을 절감할 수 있다.
– 기존 모델의 성능을 크게 저하시키지 않으면서도 특정 작업에 대한 적응이 가능하다.

ㅇ 적합한 경우:
– 대규모 모델을 특정 작업에 맞게 효율적으로 조정해야 하며, 리소스 제약이 있는 경우.

ㅇ 시험 함정:
– LORA의 핵심 원리인 저차원 행렬 분해를 정확히 이해하지 못하거나, 다른 PEFT 기법과 혼동하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Low-rank Adaptation은 대규모 모델의 일부 파라미터를 저차원 행렬로 분해하여 학습한다.”
– X: “Low-rank Adaptation은 모델 전체를 고차원으로 확장하여 학습한다.”

================================

ㅁ 추가 학습 내용

Low-rank Adaptation(LORA)에 대해 학습할 때 중요한 개념은 다음과 같습니다.

1. **저차원 행렬 분해와 SVD**: LORA에서 사용하는 저차원 행렬 분해는 수학적 기법인 특이값 분해(Singular Value Decomposition, SVD)와 밀접한 관련이 있습니다. SVD는 행렬을 저차원으로 분해하여 데이터의 중요한 특징을 유지하면서 계산 효율성을 높이는 방법입니다. 이를 이해하면 LORA의 저차원 행렬 표현이 왜 효과적인지 명확히 파악할 수 있습니다.

2. **Transformer 기반 모델에서의 활용**: LORA는 Transformer 기반 모델에서 주로 사용되며, Attention 메커니즘의 일부를 효율적으로 Fine-tuning할 수 있는 방법을 제공합니다. 이는 대규모 모델을 미세 조정할 때 필요한 메모리와 계산 자원을 줄이는 데 매우 유용합니다. 특히, 기존 가중치를 고정한 채로 새로운 가중치를 추가하는 방식으로 작동하므로, 파라미터 효율성을 높이면서도 성능 저하를 최소화합니다.

3. **PEFT 기법들과의 비교**: LORA는 Parameter-Efficient Fine-Tuning(PEFT) 기법 중 하나로, Adapter와 Prefix Tuning 같은 다른 PEFT 기법들과 비교해 각각의 장단점을 이해하는 것이 중요합니다. 예를 들어, Adapter는 추가적인 네트워크 계층을 삽입하여 Fine-tuning을 수행하고, Prefix Tuning은 입력 토큰에 특정 프리픽스를 추가하여 모델을 조정합니다. 이러한 기법들과 비교했을 때, LORA는 상대적으로 간단한 구조를 가지며 메모리와 계산 효율성이 뛰어난 점이 주요 장점으로 꼽힙니다.

위의 개념들을 체계적으로 이해하고, LORA의 이론적 배경 및 실질적 응용 사례를 통해 시험 대비를 준비하는 것이 중요합니다.