ㅁ PEFT/Fine-tuning 초기화/설정

ㅇ 정의:

ㅇ 특징:

ㅇ 적합한 경우:

ㅇ 시험 함정:

ㅇ 시험 대비 “패턴 보기” 예시:

================================

1. A B 행렬

ㅇ 정의:
A B 행렬은 Parameter-Efficient Fine-Tuning(PEFT)에서 사용되는 기법으로, 모델의 전체 가중치를 업데이트하지 않고 특정 부분만 조정하여 효율적으로 미세 조정을 수행하는 방법이다.

ㅇ 특징:
– A 행렬은 입력 특성을 압축하는 역할을 수행하며, B 행렬은 이를 다시 확장하는 역할을 한다.
– 저차원 공간에서 계산을 수행하여 메모리 사용량과 계산 비용을 줄일 수 있다.
– 기존 모델의 구조를 크게 변경하지 않으면서도 성능을 유지하거나 향상시킬 수 있다.

ㅇ 적합한 경우:
– 대규모 언어 모델(LLM)을 특정 도메인에 맞게 미세 조정해야 하지만, 리소스가 제한적인 경우.
– 모델 전체를 업데이트하는 것이 비효율적이거나 불필요한 경우.
– 빠른 실험 및 반복이 필요한 상황에서.

ㅇ 시험 함정:
– A와 B 행렬의 역할을 혼동할 수 있음.
– PEFT와 일반 Fine-Tuning의 차이를 명확히 이해하지 못한 경우.
– 메모리 효율성 및 계산 비용 감소의 구체적인 메커니즘을 묻는 문제에서 혼란을 겪을 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: A 행렬은 입력 데이터를 압축하여 저차원 표현을 생성한다.
– X: B 행렬은 입력 데이터를 압축하여 저차원 표현을 생성한다.
– O: A B 행렬은 기존 모델의 전체 가중치를 변경하지 않고도 효율적으로 미세 조정을 가능하게 한다.
– X: A B 행렬은 모델의 모든 가중치를 업데이트하여 미세 조정을 수행한다.

ㅁ 추가 학습 내용

PEFT와 Fine-Tuning의 차이점은 다음과 같습니다. Fine-Tuning은 사전 학습된 모델 전체를 특정 작업에 맞게 조정하는 과정으로, 모든 가중치를 업데이트해야 합니다. 반면, PEFT(Parameterized Efficient Fine-Tuning)는 모델의 일부만 조정하여 학습 효율성을 높이고 계산 비용을 줄이는 방법입니다. PEFT는 모델의 특정 매개변수만 수정하거나 추가적인 작은 매개변수를 삽입하는 방식으로 작동합니다.

A B 행렬이 적용된 사례로는 LoRA(Low-Rank Adaptation)라는 기법이 있습니다. LoRA는 사전 학습된 모델의 가중치에 A와 B라는 두 개의 저차원 행렬을 곱하는 방식으로 작동합니다. 이를 통해 모델의 전체 가중치를 업데이트하지 않고도 Fine-Tuning을 수행할 수 있습니다. 예를 들어, GPT 계열의 언어 모델에서는 LoRA를 사용하여 특정 도메인 작업에 모델을 적합하도록 조정한 사례가 있습니다. 이 방법은 메모리 사용량과 계산 비용을 크게 줄이면서도 성능 손실을 최소화하는 결과를 보여줍니다.

A B 행렬의 수학적 배경은 선형 대수학에서 행렬 분해와 관련이 있습니다. LoRA는 모델의 가중치를 저차원 공간으로 투영하는 A 행렬과 다시 원래 차원으로 복원하는 B 행렬을 사용합니다. 이 과정에서 모델의 업데이트는 A와 B 행렬에만 집중되므로, 전체 가중치 행렬을 직접 수정하는 것보다 계산 효율성이 높아집니다. 이는 모델 파라미터 수를 줄이고, 메모리와 계산 자원 사용을 최적화하는 데 기여합니다.