ㅁ 최적화 전략

ㅇ 정의:
모델 학습 과정에서 성능을 향상시키고 일반화 능력을 높이기 위해 적용하는 다양한 기법과 절차.

ㅇ 특징:
데이터 분포와 모델 복잡도에 따라 다양한 기법을 조합하여 사용하며, 학습 곡선 분석을 통해 전략을 선택함.

ㅇ 적합한 경우:
모델이 과적합 또는 언더피팅을 보이거나 학습 속도 및 안정성이 떨어질 때.

ㅇ 시험 함정:
특정 기법이 모든 상황에 항상 최적인 것처럼 서술된 문장에 주의.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 학습 곡선을 분석하여 과적합이 의심되면 정규화 기법을 추가할 수 있다.
X: Dropout은 항상 모델 성능을 향상시킨다.

================================

1. 과적합 및 언더피팅 진단

ㅇ 정의:
학습 곡선(훈련/검증 손실 및 정확도)을 분석하여 모델이 과도하게 학습되었는지(과적합) 또는 충분히 학습되지 않았는지(언더피팅)를 판단하는 과정.

ㅇ 특징:
과적합은 훈련 성능은 높으나 검증 성능이 낮고, 언더피팅은 훈련과 검증 모두 성능이 낮음.

ㅇ 적합한 경우:
모델 성능 저하 원인을 파악하고 적절한 최적화 전략을 선택해야 할 때.

ㅇ 시험 함정:
학습 곡선만으로 항상 원인을 단정할 수 있다는 식의 서술에 주의.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 검증 손실이 증가하는데 훈련 손실은 계속 감소하면 과적합 가능성이 높다.
X: 훈련 손실과 검증 손실이 모두 높으면 과적합이다.

================================

2. 정규화 추가

ㅇ 정의:
모델의 복잡도를 제어하여 과적합을 방지하기 위해 가중치에 패널티를 부여하는 기법.

ㅇ 특징:
L1 정규화는 가중치 희소성을 유도하고, L2 정규화는 가중치 크기를 줄여 안정적인 학습을 돕는다.

ㅇ 적합한 경우:
훈련 데이터에 비해 모델이 복잡하거나 과적합이 발생하는 경우.

ㅇ 시험 함정:
정규화가 항상 성능을 높인다고 단정하는 문장에 주의.

ㅇ 시험 대비 “패턴 보기” 예시:
O: L2 정규화는 가중치 크기에 비례한 패널티를 부과한다.
X: L1 정규화는 항상 L2 정규화보다 성능이 좋다.

================================

3. Dropout

ㅇ 정의:
학습 시 신경망의 일부 뉴런을 확률적으로 비활성화하여 과적합을 방지하는 규제 기법.

ㅇ 특징:
뉴런 간의 의존도를 낮추고 다양한 서브 네트워크를 학습하는 효과를 가짐.

ㅇ 적합한 경우:
대규모 신경망에서 과적합이 발생할 때.

ㅇ 시험 함정:
Dropout 비율이 높을수록 항상 성능이 좋아진다고 서술하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: Dropout은 학습 시 일부 뉴런을 무작위로 비활성화한다.
X: Dropout은 테스트 단계에서도 뉴런을 무작위로 꺼서 예측한다.

================================

4. Batch Normalization

ㅇ 정의:
각 미니배치 단위로 입력을 정규화하여 학습 안정성과 속도를 높이는 기법.

ㅇ 특징:
내부 공변량 변화(Internal Covariate Shift)를 줄이고, 초기화 민감도를 완화함.

ㅇ 적합한 경우:
심층 신경망 학습 시 학습 속도와 안정성을 높이고 싶을 때.

ㅇ 시험 함정:
Batch Normalization이 항상 과적합을 줄인다고 단정하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: Batch Normalization은 각 배치의 평균과 분산을 이용해 정규화한다.
X: Batch Normalization은 학습이 끝난 후에도 항상 배치 단위로 계산된다.

ㅁ 추가 학습 내용

학습 곡선 해석 시 고려해야 할 중요한 개념은 다음과 같다.

Early Stopping: 검증 데이터에서 성능이 일정 기간 향상되지 않을 경우 학습을 조기에 종료하여 과적합을 방지하는 방법. 불필요한 학습을 줄이고 모델의 일반화 성능을 유지하는 데 효과적이다.

Learning Rate Scheduling: 학습 진행 상황에 따라 학습률을 동적으로 조정하는 기법. 초기에는 큰 학습률로 빠르게 수렴을 유도하고, 후반에는 작은 학습률로 세밀하게 최적화하여 성능 향상을 도모한다.

Data Augmentation: 원본 데이터를 다양한 방식으로 변형하여 학습 데이터의 양과 다양성을 늘리는 기법. 모델이 다양한 입력에 대해 견고하게 학습하도록 하여 일반화 능력을 향상시킨다.

시험 대비 시 각 기법의 정의, 목적, 적용 시기, 장단점을 명확히 구분하고 비교할 수 있어야 한다.