ㅁ 스케줄링/조기종료

ㅇ 정의:
– 스케줄링/조기종료는 딥러닝 모델 학습 과정에서 모델의 성능을 최적화하거나 과적합을 방지하기 위해 학습을 조정하거나 중단하는 기법을 의미한다.

ㅇ 특징:
– 학습 효율성을 높이고 불필요한 계산을 줄인다.
– 모델의 일반화 성능을 개선할 수 있다.

ㅇ 적합한 경우:
– 과적합이 발생할 가능성이 높을 때.
– 자원 제한으로 인해 학습 시간 최적화가 필요할 때.

ㅇ 시험 함정:
– 스케줄링과 조기 종료의 개념을 혼동하여 잘못된 정의를 작성할 가능성.
– 조기 종료의 기준을 명확히 이해하지 못하거나 특정 조건을 간과하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “조기 종료는 검증 데이터의 성능이 더 이상 개선되지 않을 때 학습을 중단하는 기법이다.”
– X: “스케줄링은 학습을 중단하는 조건을 설정하는 것이다.”

================================

1. Batch Normalization

ㅇ 정의:
– Batch Normalization은 딥러닝 모델 학습 시 각 미니배치 데이터의 평균과 분산을 정규화하여 학습 안정성을 높이고 속도를 개선하는 기법이다.

ㅇ 특징:
– 학습 속도 향상 및 초기화 민감도 감소.
– 과적합 방지에 도움을 줄 수 있다.
– 추가적인 계산 비용이 발생할 수 있다.

ㅇ 적합한 경우:
– 학습이 불안정하거나 학습 속도가 느린 경우.
– 모델 초기화에 민감한 경우.

ㅇ 시험 함정:
– Batch Normalization이 과적합을 완전히 방지한다고 오해하는 경우.
– 테스트 단계에서 정규화 통계 사용 방식을 혼동하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Batch Normalization은 학습 과정에서 각 미니배치의 평균과 분산을 사용하여 정규화를 수행한다.”
– X: “Batch Normalization은 테스트 단계에서도 미니배치 평균과 분산을 사용한다.”

ㅁ 추가 학습 내용

Batch Normalization을 적용할 때 주의해야 할 점을 다음과 같이 정리할 수 있습니다.

1. **학습 단계와 테스트 단계의 차이점 이해**
– 학습 단계에서는 미니배치의 평균과 분산을 사용하여 정규화를 수행합니다.
– 테스트 단계에서는 학습 과정에서 계산된 전체 데이터의 평균과 분산을 사용하여 정규화를 진행합니다.
– 이 차이점을 명확히 이해하고 구현 시 적절히 처리하는 것이 중요합니다.

2. **모델 성능에 미치는 영향**
– Batch Normalization은 학습 속도를 높이고 학습 과정을 안정화시키는 데 도움을 줄 수 있습니다.
– 하지만 모든 모델에서 반드시 성능 향상을 보장하지는 않습니다. 모델 구조나 데이터 특성에 따라 효과가 다를 수 있으므로, 적용 결과를 검증하는 과정이 필요합니다.