ㅁ 최적화 및 스케줄링

ㅇ 정의:
– 최적화 및 스케줄링은 모델 학습 과정에서 손실 함수의 최적화를 통해 성능을 극대화하고, 학습 속도와 자원 활용을 최적화하기 위한 전략입니다.

ㅇ 특징:
– 학습 과정에서의 효율성과 정확도를 동시에 고려합니다.
– 다양한 알고리즘과 기법이 존재하며, 문제 유형에 따라 적합한 방법이 다릅니다.

ㅇ 적합한 경우:
– 대규모 데이터셋 처리나 모델 성능 향상이 필요한 경우.
– 제한된 자원에서 최적의 결과를 도출해야 하는 경우.

ㅇ 시험 함정:
– 최적화와 스케줄링의 차이를 혼동하거나, 특정 기법의 적용 조건을 잘못 이해할 수 있습니다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “최적화 및 스케줄링은 모델 학습 과정에서 손실 함수의 최소화를 목표로 한다.”
– X: “최적화 및 스케줄링은 데이터 전처리 과정에서 사용된다.”

================================

1. Stochastic Weight Averaging

ㅇ 정의:
– Stochastic Weight Averaging(SWA)은 학습 과정에서 여러 모델의 가중치를 평균화하여 일반화 성능을 향상시키는 기법입니다.

ㅇ 특징:
– 여러 에폭(epoch)에서의 모델 가중치를 평균화하여 더 나은 일반화 성능을 제공합니다.
– 기존의 학습 과정에 비해 추가적인 계산 비용이 적습니다.

ㅇ 적합한 경우:
– 모델의 일반화 성능이 중요한 경우.
– 기존 최적화 기법으로 학습된 모델에서 추가적인 성능 향상이 필요한 경우.

ㅇ 시험 함정:
– SWA가 모든 데이터셋에 대해 항상 성능을 향상시키는 것으로 오해할 수 있습니다.
– SWA가 최적화 알고리즘 자체를 대체한다고 잘못 이해할 수 있습니다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “SWA는 여러 에폭에서의 가중치를 평균화하여 일반화 성능을 높이는 데 사용된다.”
– X: “SWA는 손실 함수의 최적화를 위해 학습 초기에 사용된다.”

================================

ㅁ 추가 학습 내용

SWA(Stochastic Weight Averaging)에 대해 학습하기 위해 다음과 같이 내용을 정리할 수 있습니다.

1. SWA의 개념:
– SWA는 Stochastic Gradient Descent(SGD) 기반의 최적화 기법으로, 학습 후반부에서 모델의 가중치를 주기적으로 저장한 후 평균화하여 최종 모델을 생성하는 방법입니다.
– 모델이 여러 지역 최적점에 도달할 수 있는 SGD의 특성을 활용하여, 평균화된 가중치가 더 평탄한 손실 표면을 가지도록 유도합니다. 이는 일반화 성능을 향상시키는 데 기여합니다.

2. SWA의 수학적 원리:
– SWA는 학습 후반부에서 특정 간격으로 저장된 가중치를 단순 평균(Arithmetic Mean)하여 최종 가중치를 계산합니다.
– 수학적으로, 저장된 가중치들을 w1, w2, …, wn이라고 할 때, SWA 가중치 w_swa는 다음과 같이 계산됩니다:
w_swa = (1/n) * Σ wi (i=1부터 n까지)
– 이 평균화된 가중치는 모델이 여러 지역 최적점에서의 가중치를 포함하므로, 더 안정적이고 일반화된 결과를 제공합니다.

3. SWA의 적용 시기:
– SWA는 학습 초반보다는 후반부에서 적용하는 것이 효과적입니다. 학습이 충분히 진행된 후, 모델이 안정화되었을 때 가중치를 저장하고 평균화 과정에 사용하는 것이 일반적입니다.
– 학습률 스케줄링(Learning Rate Scheduling)과 함께 사용하면 더 큰 효과를 발휘합니다. 예를 들어, 학습 후반부에 학습률을 점진적으로 낮추는 방식이 SWA와 잘 어울립니다.

4. SWA의 적용 사례:
– 이미지 분류: ResNet, DenseNet과 같은 딥러닝 모델의 학습에서 SWA를 사용하면 테스트 정확도를 향상시키고 일반화 성능을 개선할 수 있습니다.
– 자연어 처리: BERT, GPT와 같은 언어 모델의 학습에서도 SWA를 적용하여 더 나은 성능과 안정성을 얻을 수 있습니다.
– 기타 응용: 강화 학습, 시계열 예측, 회귀 문제 등 다양한 분야에서도 SWA의 효과가 보고되고 있습니다.

SWA를 학습하기 위해 수학적 원리와 함께 실제 적용 사례를 분석하고, 학습률 스케줄링과의 연계를 실험적으로 검토하는 것이 중요합니다.