ㅁ 효율적 학습

ㅇ 정의:
모델 학습 시 학습률(learning rate)을 동적으로 조정하여 최적의 수렴 속도와 일반화 성능을 확보하는 기법.

ㅇ 특징:
– 학습 초반에는 큰 학습률로 빠르게 수렴하고, 후반에는 작은 학습률로 세밀하게 조정.
– 고정 학습률 대비 과적합 방지 및 학습 안정성 향상.
– 다양한 스케줄링 방식(단계적 감소, 지수 감소, 사이클형 등) 존재.

ㅇ 적합한 경우:
– 데이터셋이 크고 복잡하여 학습 시간이 길어지는 경우.
– 초기 빠른 수렴과 후반 미세 조정이 모두 필요한 경우.
– 고정 학습률로는 손실이 진동하거나 수렴이 느린 경우.

ㅇ 시험 함정:
– 학습률 스케줄러는 항상 성능을 향상시키는 것이 아님. 잘못 설정하면 오히려 수렴이 느려질 수 있음.
– 스케줄링 주기가 너무 짧거나 길면 효과가 반감될 수 있음.
– warm-up 단계 없이 바로 큰 학습률을 적용하면 발산 위험.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “학습률 스케줄러는 학습 초반 큰 학습률, 후반 작은 학습률을 적용하여 안정적 수렴을 돕는다.”
X: “학습률 스케줄러는 항상 모델의 정확도를 높인다.”

================================

1. Learning Rate Schedulers

ㅇ 정의:
학습 과정에서 에폭(epoch) 또는 스텝(step)에 따라 학습률을 자동으로 변경하는 메커니즘.

ㅇ 특징:
– Step decay, Exponential decay, Cosine annealing, Cyclical learning rate 등 다양한 방식 존재.
– 손실 함수의 변화를 반영하여 동적으로 조정 가능.
– 최적화 알고리즘(예: SGD, Adam)과 함께 사용.

ㅇ 적합한 경우:
– 장기 학습에서 과적합을 방지하고 학습 속도를 유지하고자 할 때.
– 초기 빠른 학습 후 미세 조정이 필요한 경우.

ㅇ 시험 함정:
– 모든 문제에 동일한 스케줄링 전략을 적용하면 안 됨.
– 지나치게 빠른 감소는 지역 최소점에 갇히게 할 수 있음.
– 스케줄링과 배치 크기, 옵티마이저 설정이 상호 영향을 미침.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Step decay는 일정 에폭마다 학습률을 감소시키는 방식이다.”
X: “Cosine annealing은 학습률을 선형으로 감소시킨다.”

ㅁ 추가 학습 내용

추가 학습 정리

1. Warm-up 기법
학습 초기에 작은 학습률로 시작하여 모델이 안정적으로 학습을 시작하도록 한 뒤, 이후에 스케줄러를 적용하여 학습률을 조정하는 방법. 초기 불안정한 가중치 업데이트를 완화하는 데 효과적이다.

2. One-cycle policy
학습률을 처음에 점차 증가시켜 학습 속도를 높이고, 이후 점차 감소시켜 빠른 수렴을 유도하는 방식. 학습 후반부에 안정적인 수렴을 돕는다.

3. ReduceLROnPlateau
검증 손실이 일정 기간 동안 개선되지 않을 때 학습률을 줄여주는 전략. 불필요한 가중치 변동을 줄이고 더 나은 수렴을 유도한다.

4. 스케줄러와 옵티마이저의 상호작용
Adam, SGD 등 서로 다른 옵티마이저와 조합할 때 학습률 스케줄러의 효과가 달라질 수 있다. 옵티마이저 특성과 스케줄러 전략을 함께 고려해야 한다.

5. 실제 구현 예시
PyTorch에서는 torch.optim.lr_scheduler 모듈을 사용하며, TensorFlow에서는 tf.keras.callbacks.LearningRateScheduler를 활용하여 학습률 조정이 가능하다.

6. 시험 출제 포인트
스케줄러의 목적(수렴 안정화, 과적합 방지)과 방식(단계적, 지수적, 주기적)을 구분하는 문제가 자주 출제된다. 각 방식의 특징과 적용 시점을 정확히 이해해야 한다.