ㅁ 정규화/증강

ㅇ 정의:
– 정규화/증강은 모델 학습 시 데이터의 분포를 조정하거나 데이터를 확장하여 학습 성능과 안정성을 높이는 기법을 의미한다.

ㅇ 특징:
– 데이터의 왜곡을 줄이고 학습 속도를 안정화시킨다.
– 다양한 데이터 증강 기법을 통해 일반화 성능을 향상시킨다.

ㅇ 적합한 경우:
– 데이터가 부족하거나 분포가 불균형한 경우.
– 모델 학습 초기 단계의 불안정한 학습 과정을 완화하고자 할 때.

ㅇ 시험 함정:
– 정규화와 증강의 개념을 혼동하거나, 특정 기법의 적용 상황을 잘못 이해할 수 있다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 정규화는 데이터의 분포를 조정하여 학습을 안정화시킨다.
– X: 데이터 증강은 학습 데이터를 줄이는 기법이다.

================================

1. Warmup

ㅇ 정의:
– Warmup은 학습 초기 단계에서 학습률(Learning Rate)을 점진적으로 증가시키는 기법으로, 모델이 안정적으로 수렴할 수 있도록 돕는다.

ㅇ 특징:
– 학습 초기에 급격한 학습률 증가로 인한 불안정성을 방지한다.
– 학습률 스케줄링과 함께 사용되어 전체 학습 과정을 최적화한다.

ㅇ 적합한 경우:
– 복잡한 모델을 학습할 때 초기 학습률이 너무 높아 학습이 불안정한 경우.
– 대규모 데이터셋으로 학습 시 안정적인 시작이 필요한 경우.

ㅇ 시험 함정:
– Warmup이 학습 속도를 느리게 한다는 오해.
– Warmup과 학습률 감소(Learning Rate Decay)를 동일한 개념으로 착각.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Warmup은 초기 학습률을 점진적으로 증가시켜 학습 안정성을 높인다.
– X: Warmup은 학습률을 일정하게 유지하여 학습을 안정화한다.

ㅁ 추가 학습 내용

Warmup과 학습률 스케줄링(Learning Rate Scheduling)의 관계를 정리하면 다음과 같습니다.

1. Warmup은 학습 초기에 학습률을 점진적으로 증가시키는 기법으로, 모델이 안정적으로 학습을 시작할 수 있도록 돕는다. 초기 학습률이 너무 크면 모델이 불안정하게 학습될 수 있고, 너무 작으면 학습 속도가 느려질 수 있는데, Warmup은 이러한 문제를 완화하는 데 효과적이다.

2. Warmup 이후에는 일반적으로 Step Decay, Cosine Annealing 등의 학습률 스케줄링 기법이 적용된다.
– Step Decay: 학습률을 일정한 간격마다 감소시키는 기법으로, 학습이 진행될수록 더 작은 학습률을 사용하여 모델이 점진적으로 수렴하도록 한다.
– Cosine Annealing: 학습률을 코사인 함수 형태로 점차 감소시키는 방식으로, 학습 후반부에 학습률을 매우 작게 만들어 모델이 더 안정적으로 수렴할 수 있도록 한다.

3. Warmup은 특히 Transformer 기반 모델(예: BERT, GPT)에서 효과적이다. 이러한 모델들은 거대한 파라미터 수를 가지고 있어 학습 초기에 안정적인 수렴을 위해 Warmup이 필요하다. Warmup을 통해 초기 학습률을 천천히 증가시키면, 모델이 학습 과정에서 적절한 가중치를 찾는 데 도움을 준다.

4. Transformer 기반 모델에서 Warmup과 학습률 스케줄링을 결합한 학습률 조정 방식은 학습 성능을 크게 향상시킬 수 있다. 예를 들어, BERT는 학습 초기에 Warmup을 사용한 후, 학습률을 점진적으로 감소시키는 스케줄링 방식을 채택해 성공적인 학습을 이루었다.

시험 대비를 위해 Warmup의 정의, 학습률 스케줄링 기법의 종류와 특징, 그리고 Transformer 모델에서의 실제 적용 사례를 함께 정리해 두면 효과적이다. 특히, Warmup과 스케줄링 기법이 왜 중요한지와 그 역할을 이해하는 것이 중요하다.