ㅁ 학습 곡선

ㅇ 정의:
학습 곡선은 모델의 성능 변화를 시각적으로 표현한 그래프로, 훈련 데이터와 검증 데이터에 대한 손실 값 또는 정확도를 기준으로 모델의 학습 상태를 평가하는 데 사용된다.

ㅇ 특징:
– 훈련 손실과 검증 손실의 변화를 통해 과적합과 과소적합 여부를 판단할 수 있다.
– 학습률, 데이터셋 크기, 모델 복잡도 등 다양한 요소가 학습 곡선에 영향을 미친다.

ㅇ 적합한 경우:
– 모델의 학습 상태를 실시간으로 모니터링하고 조정이 필요한 경우.
– 과적합 또는 과소적합 문제를 조기에 발견해야 하는 경우.

ㅇ 시험 함정:
– 학습 곡선의 해석에서, 훈련 손실이 낮다고 해서 항상 좋은 모델이라고 단정짓는 오류.
– 검증 손실이 증가하는 경향을 과적합으로만 해석하고, 데이터 부족이나 학습률 문제를 간과하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 훈련 손실과 검증 손실이 모두 감소하면 적절한 학습이 이루어지고 있다.
– X: 검증 손실이 증가하면 항상 과적합이 발생한다.

================================

1. Learning Rate Scheduler

ㅇ 정의:
학습률 스케줄러는 학습 과정 중 학습률을 동적으로 조정하여 모델의 수렴 속도를 최적화하고 안정적인 학습을 돕는 기법이다.

ㅇ 특징:
– 초기에는 큰 학습률을 사용하여 빠르게 수렴하도록 돕고, 이후에는 작은 학습률로 안정적인 최적화를 유도한다.
– 다양한 스케줄링 방식(예: Step Decay, Exponential Decay, Cyclical Learning Rate 등)이 존재한다.

ㅇ 적합한 경우:
– 학습률이 고정되어 있을 때 손실 값이 불안정하게 변동하는 경우.
– 초기 학습 속도와 최종 수렴 품질을 모두 고려해야 하는 경우.

ㅇ 시험 함정:
– 학습률 스케줄러를 적용했음에도 손실 값 감소가 불안정하다면, 모델 구조나 데이터 품질 문제를 간과하는 경우.
– 특정 스케줄링 방식이 모든 상황에 적합하다고 오해하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 학습률 스케줄링은 과적합 방지와 최적화 안정성을 모두 고려한다.
– X: 학습률 스케줄링은 항상 모델 성능을 향상시킨다.

================================

1.1 Step Decay

ㅇ 정의:
일정한 에폭 간격으로 학습률을 감소시키는 스케줄링 기법으로, 학습 초기에 큰 학습률을 사용하고 점진적으로 감소시킨다.

ㅇ 특징:
– 단순한 구현과 직관적인 조정이 가능하다.
– 감소 간격과 비율을 잘못 설정하면 학습 속도에 영향을 줄 수 있다.

ㅇ 적합한 경우:
– 모델이 특정 에폭 이후 손실 값 감소가 둔화되는 패턴을 보이는 경우.
– 학습률 조정이 비교적 단순해야 하는 상황.

ㅇ 시험 함정:
– 감소 간격을 너무 짧게 설정하면 학습이 조기에 멈출 위험.
– 감소 비율을 과도하게 설정하면 최적화가 불안정해질 가능성.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Step Decay는 일정 간격으로 학습률을 감소시켜 안정적인 학습을 유도한다.
– X: Step Decay는 학습률을 한 번만 줄인다.

================================

1.2 Exponential Decay

ㅇ 정의:
학습률을 지수 함수 형태로 점진적으로 감소시키는 기법으로, 학습이 진행될수록 학습률 감소 속도가 완만해진다.

ㅇ 특징:
– 학습률 변화가 연속적이고 부드러워 학습 안정성을 높인다.
– 초기 설정 값에 따라 학습 성능이 크게 좌우된다.

ㅇ 적합한 경우:
– 학습률의 급격한 변화가 불안정성을 초래하는 경우.
– 학습 시간이 길고 점진적인 조정이 필요한 경우.

ㅇ 시험 함정:
– 지수 감소 속도를 과도하게 설정하면 학습이 조기에 멈출 위험.
– 초기 학습률이 너무 크거나 작으면 최적화가 어려울 가능성.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Exponential Decay는 학습률을 지속적으로 감소시켜 안정적인 최적화를 유도한다.
– X: Exponential Decay는 학습률을 일정하게 유지한다.

================================

1.3 Cyclical Learning Rate

ㅇ 정의:
학습률을 주기적으로 변화시키는 기법으로, 학습 과정 중 학습률이 증가했다가 감소하는 패턴을 반복한다.

ㅇ 특징:
– 지역 최적점에서 벗어나 전역 최적점을 탐색할 가능성을 높인다.
– 학습률 주기와 범위를 적절히 조정해야 효과적이다.

ㅇ 적합한 경우:
– 복잡한 손실 함수에서 지역 최적점에 갇힐 위험이 있는 경우.
– 학습률을 동적으로 조정하여 최적화를 개선하고자 하는 경우.

ㅇ 시험 함정:
– 주기를 너무 길게 설정하면 학습이 비효율적으로 진행될 위험.
– 학습률 범위를 부적절하게 설정하면 최적화 성능이 저하될 가능성.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Cyclical Learning Rate는 학습률을 주기적으로 변화시켜 전역 최적화를 돕는다.
– X: Cyclical Learning Rate는 학습률을 고정된 값으로 유지한다.

ㅁ 추가 학습 내용

1. 학습 곡선과 관련하여 과적합과 과소적합의 차이:
– 과적합은 모델이 학습 데이터에 지나치게 맞춰져서 테스트 데이터에서 일반화 성능이 떨어지는 상태를 의미합니다. 과적합의 징후로는 학습 데이터에서 높은 정확도를 보이지만 테스트 데이터에서는 낮은 정확도를 보이는 경우가 있습니다.
– 과소적합은 모델이 학습 데이터의 패턴을 충분히 학습하지 못한 상태를 의미합니다. 과소적합의 징후로는 학습 데이터와 테스트 데이터 모두에서 낮은 정확도를 보이는 경우가 있습니다.
– 이를 해결하기 위한 방법:
– 조기 종료(Early Stopping): 학습 도중 검증 데이터의 성능이 더 이상 개선되지 않을 때 학습을 멈춰 과적합을 방지합니다.
– 데이터 증강(Data Augmentation): 학습 데이터를 인위적으로 늘려 모델이 더 다양한 패턴을 학습할 수 있도록 합니다.
– 모델 복잡도 조절: 과적합의 경우 모델의 크기를 줄이고, 과소적합의 경우 더 복잡한 모델을 사용합니다.
– 규제(Regularization): L1, L2 정규화 또는 Dropout을 사용해 모델 복잡도를 제한하여 과적합을 방지합니다.

2. Learning Rate Scheduler의 실제 활용 사례:
– Learning Rate Scheduler는 학습률을 동적으로 조정해 모델 학습을 최적화하는 데 사용됩니다.
– ResNet과 같은 딥러닝 모델에서 Step Decay를 적용한 사례:
– Step Decay는 일정한 에폭마다 학습률을 감소시키는 방식입니다. 예를 들어, 초기 학습률을 0.1로 설정하고 10 에폭마다 학습률을 0.5배로 줄이는 방식입니다.
– 결과 분석: Step Decay를 적용하면 학습 초기에 빠른 수렴을 돕고, 학습 후반부에는 학습률을 낮춰 안정적인 최적화를 도모할 수 있습니다. 이를 통해 손실 값 감소와 정확도 향상에 긍정적인 영향을 미칩니다.

3. Cyclical Learning Rate와 모델 성능에 미치는 영향:
– Cyclical Learning Rate는 학습률을 주기적으로 변경하여 모델이 다양한 학습률에서 최적화될 수 있도록 돕는 방법입니다.
– 특정 주기와 학습률 범위 설정의 영향:
– 주기 길이가 짧으면 모델이 더 자주 학습률을 변경하므로 빠르게 수렴할 수 있지만, 안정성이 떨어질 수 있습니다.
– 주기 길이가 길면 학습률 변경이 느려져 안정성이 높아질 수 있지만, 수렴 속도가 느릴 수 있습니다.
– 학습률 범위는 너무 좁으면 학습이 제한되고, 너무 넓으면 모델이 최적화에 실패할 가능성이 높아집니다.
– 실험 결과 참고:
– 주기 길이에 따라 손실 값 변화를 비교한 결과, 적절한 주기와 학습률 범위를 설정하면 모델의 수렴 속도와 최종 성능이 개선됩니다. 예를 들어, 주기를 10 에폭으로 설정하고 학습률 범위를 0.001에서 0.01로 지정하면 손실 값이 안정적으로 감소하는 경향을 보일 수 있습니다.