ㅁ 최적화 기법

ㅇ 정의:
모델의 과적합을 방지하기 위해 가중치 값에 페널티를 부여하여 손실 함수에 추가하는 정규화 기법.

ㅇ 특징:
– 손실 함수에 가중치의 제곱합을 추가로 포함시킴.
– 과적합 방지와 일반화 성능 향상에 효과적.
– 학습률과 함께 조정해야 최적의 성능을 발휘.

ㅇ 적합한 경우:
– 데이터가 적거나 복잡한 모델을 사용할 때.
– 과적합이 발생할 가능성이 높은 경우.

ㅇ 시험 함정:
– Weight Decay는 항상 성능을 높이는 것으로 오해할 수 있음.
– 정규화 강도를 지나치게 높이면 과소적합이 발생할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
1. Weight Decay는 손실 함수에 가중치의 제곱합을 추가한다. (O)
2. Weight Decay는 데이터 증강 기법의 일종이다. (X)
3. Weight Decay는 과적합 방지를 위해 사용된다. (O)
4. Weight Decay는 항상 모델의 성능을 향상시킨다. (X)

ㅁ 추가 학습 내용

Weight Decay와 L1 정규화는 머신러닝 모델의 과적합을 방지하고 일반화 성능을 높이기 위해 사용되는 정규화 기법입니다. 두 기법은 서로 다른 방식으로 가중치를 제약하며, 그 차이점은 다음과 같습니다:

1. **Weight Decay (L2 정규화)**:
– 가중치의 제곱합을 최소화하는 방식으로 작동합니다.
– 정규화 항은 모델의 손실 함수에 λ * Σ(w_i²) 형태로 추가됩니다. 여기서 λ는 정규화 강도를 조절하는 하이퍼파라미터입니다.
– 가중치 값이 0에 가까워지도록 유도하지만, 완전히 0으로 만들지는 않습니다.
– 주로 모델의 크기를 줄이고 과적합을 방지하는 데 사용됩니다.
– 가중치를 부드럽게 줄이기 때문에 희소성을 강하게 유도하지는 않습니다.

2. **L1 정규화**:
– 가중치의 절댓값 합을 최소화하는 방식으로 작동합니다.
– 정규화 항은 모델의 손실 함수에 λ * Σ|w_i| 형태로 추가됩니다. 여기서 λ는 정규화 강도를 조절하는 하이퍼파라미터입니다.
– 가중치 값이 0으로 수렴하도록 강하게 유도합니다.
– 희소성을 촉진하여, 일부 가중치는 0이 되고 나머지는 중요한 특성만을 보존하게 됩니다.
– 주로 특성 선택과 희소 모델을 생성하는 데 유용합니다.

**핵심 차이점**:
– Weight Decay(L2 정규화)는 가중치를 부드럽게 줄여 과적합을 방지하며, 가중치가 0에 가까워지지만 완전히 0이 되는 것을 강제하지 않습니다.
– L1 정규화는 가중치를 0으로 만드는 희소성을 강하게 유도하여, 중요하지 않은 특성을 제거하고 중요한 특성만 남깁니다.

이 두 정규화 기법은 서로 다른 목적과 효과를 가지고 있으므로, 모델의 특성과 데이터에 따라 적절히 선택하여 사용해야 합니다.