ㅁ PEFT/Fine-tuning 초기화/설정

ㅇ 정의:
PEFT(Parameterized Efficient Fine-Tuning)와 Fine-tuning 과정에서 초기화 및 설정 단계에서 중요한 요소로, 모델이 학습 중 가중치를 업데이트하는 속도를 결정하는 하이퍼파라미터임.

ㅇ 특징:
– 학습률이 너무 크면 학습이 불안정해지고 최적의 가중치를 찾지 못할 수 있음.
– 학습률이 너무 작으면 학습 속도가 느려지고 지역 최적점에 빠질 가능성이 높아짐.
– 일반적으로 warm-up 스케줄링을 통해 초기 학습률을 점진적으로 증가시키고, 이후 감소시키는 방식이 자주 사용됨.

ㅇ 적합한 경우:
– 모델의 초기 학습 안정성을 보장하고, 최적의 성능을 도출하기 위해 적절한 학습률 설정이 필요한 경우.
– 학습 데이터가 많고, 모델이 복잡한 경우에 학습률 스케줄링이 효과적임.

ㅇ 시험 함정:
– 학습률 조정 없이 고정된 값을 사용하는 경우, 모델의 성능이 저하될 수 있음.
– 학습률 감소 전략을 오해하여 학습 초기부터 학습률을 지나치게 낮게 설정하는 실수를 유도할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 학습률은 모델 학습의 안정성과 수렴 속도에 영향을 미친다.
O: 학습률 스케줄링은 초기 학습률 증가 후 감소시키는 방식으로 설정할 수 있다.
X: 학습률은 항상 고정된 값으로 설정해야 한다.
X: 학습률이 클수록 항상 빠르고 안정적인 학습이 가능하다.

ㅁ 추가 학습 내용

학습률과 관련된 추가적인 개념을 이해하기 위해 다음 내용을 정리하여 학습하세요.

1. Learning Rate Decay:
학습률 감소(Learning Rate Decay)는 학습이 진행됨에 따라 학습률을 점진적으로 줄이는 방법입니다. 초기에는 큰 학습률을 사용해 빠르게 수렴하도록 하고, 이후에는 작은 학습률로 세밀하게 조정합니다. 대표적인 방법으로는 Step Decay, Exponential Decay, 그리고 Cosine Annealing 등이 있습니다.

2. Warm-up 전략:
Warm-up은 학습 초기에 학습률을 점진적으로 증가시키는 기법입니다. 초기 모델 가중치를 안정적으로 학습시키고, 급격한 학습률 변화로 인해 발생할 수 있는 불안정을 방지합니다. 일반적으로 큰 학습률을 사용하는 경우 Warm-up 단계가 유용합니다.

3. Adaptive Learning Rate:
Adaptive Learning Rate는 학습 과정에서 학습률을 자동으로 조정하는 기법입니다. 대표적인 옵티마이저로는 Adam, RMSProp, AdaGrad 등이 있으며, 이들은 각 매개변수의 변화량에 따라 학습률을 동적으로 조정합니다. 이를 통해 학습 초기에는 빠른 수렴을, 후반에는 안정적인 수렴을 도모할 수 있습니다.

4. Fine-tuning 과정에서의 학습률 조정:
Fine-tuning은 사전 학습된 모델을 새로운 데이터셋에 적응시키는 과정입니다. 이때 학습률을 작게 설정하거나, 특정 레이어마다 다른 학습률을 적용하는 방식으로 모델의 성능을 최적화할 수 있습니다. Adaptive Learning Rate를 사용하는 옵티마이저는 Fine-tuning 과정에서 특히 유용합니다.

5. 학습률과 모델 수렴 간의 관계:
학습률이 너무 크면 손실 함수가 발산하거나 수렴하지 않을 수 있고, 너무 작으면 학습 속도가 느려지고 국소 최적점에 갇힐 가능성이 높아집니다. 이를 수학적으로 설명하기 위해 손실 함수의 기울기(Gradient)와 학습률의 곱이 매개변수 업데이트에 미치는 영향을 분석합니다. 학습률이 적절하게 설정되면 손실 함수의 기울기를 따라 효율적으로 최적점으로 수렴할 수 있습니다.

위 내용을 중심으로 학습하면 학습률 관련 개념을 체계적으로 이해하고 시험 대비에 유리할 것입니다.