ㅁ 정규화 및 규제

ㅇ 정의:
정규화 및 규제는 머신러닝 모델의 과적합을 방지하고 일반화 성능을 향상시키기 위해 가중치나 입력 데이터를 조정하는 방법을 의미한다.

ㅇ 특징:
– 데이터 분포의 불균형 문제를 완화.
– 학습 속도를 가속화시킬 수 있음.
– 과적합 방지에 주요 역할을 함.

ㅇ 적합한 경우:
– 데이터가 매우 많거나 불균형한 경우.
– 과적합 위험이 높은 복잡한 모델을 학습할 때.

ㅇ 시험 함정:
– 정규화와 규제의 개념을 혼동할 수 있음.
– 특정 알고리즘에서의 적용 방식에 대한 이해 부족.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 정규화는 모델의 과적합 방지에 도움을 준다.
X: 정규화는 항상 학습 속도를 느리게 만든다.

================================

1. Weight Normalization

ㅇ 정의:
Weight Normalization은 신경망의 가중치를 크기와 방향으로 분리하여 학습을 안정화시키고 학습 속도를 높이는 기법이다.

ㅇ 특징:
– 가중치 벡터를 크기와 방향으로 나누어 표현.
– Batch Normalization과는 다르게 배치 크기에 의존하지 않음.
– 학습 안정성과 수렴 속도 향상에 기여.

ㅇ 적합한 경우:
– Batch Normalization을 사용할 수 없는 상황.
– 소규모 데이터셋으로 학습할 때.
– 모델의 수렴 속도를 높이고 싶을 때.

ㅇ 시험 함정:
– Batch Normalization과의 차이점을 명확히 이해하지 못할 수 있음.
– Weight Normalization의 적용이 항상 성능 향상을 보장하지 않는다는 점을 간과할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: Weight Normalization은 가중치를 크기와 방향으로 분리하여 학습 속도를 높인다.
X: Weight Normalization은 반드시 배치 크기에 의존한다.

ㅁ 추가 학습 내용

Weight Normalization과 Batch Normalization의 차이점을 구체적으로 비교하면 다음과 같습니다:

1. **기본 개념**:
– Batch Normalization은 신경망의 각 층에서 입력 데이터의 평균과 분산을 조정하여 학습을 안정화하고 속도를 높이는 방법입니다. 이는 배치 단위로 계산되며, 데이터의 분포를 정규화하는 역할을 합니다.
– Weight Normalization은 신경망의 가중치를 벡터의 크기와 방향으로 분리하여 학습을 안정화시키는 방법입니다. 이는 가중치 자체를 조정하며 배치 크기와는 무관하게 작동합니다.

2. **작동 방식**:
– Batch Normalization은 입력 데이터의 평균과 분산을 계산하여 이를 사용해 정규화합니다. 그런 다음 학습 가능 파라미터인 스케일(γ)과 시프트(β)를 적용하여 데이터를 변환합니다.
– Weight Normalization은 가중치를 벡터의 크기(스케일)와 방향으로 분리한 후, 크기를 조정하고 방향을 유지하여 가중치를 재구성합니다. 이를 통해 학습 안정성을 높이고 배치 크기에 의존하지 않습니다.

3. **배치 크기 의존성**:
– Batch Normalization은 배치 크기에 의존적입니다. 배치 크기가 너무 작으면 평균과 분산 계산이 불안정해질 수 있으며, 이는 모델 성능에 영향을 미칠 수 있습니다.
– Weight Normalization은 배치 크기와 무관하게 작동하므로, 배치 크기가 작거나 변화하더라도 안정적으로 학습할 수 있습니다.

4. **적용 대상**:
– Batch Normalization은 입력 데이터의 분포를 조정하기 때문에, 주로 활성화 함수 직전에 사용됩니다.
– Weight Normalization은 가중치를 직접 조정하기 때문에, 주로 가중치가 포함된 레이어(예: Dense Layer, Convolution Layer)에 적용됩니다.

5. **장점과 한계**:
– Batch Normalization은 학습 속도를 높이고 과적합을 방지하는 데 효과적이지만, 배치 크기에 의존하므로 소규모 배치나 온라인 학습 환경에서는 성능이 저하될 수 있습니다.
– Weight Normalization은 배치 크기와 무관하게 작동하므로 소규모 배치에서도 안정적이며, 가중치의 방향성을 유지하여 학습을 효율화합니다. 그러나 데이터의 분포를 직접적으로 조정하지는 않으므로 Batch Normalization과는 다른 사용 사례에 적합합니다.

이 차이점들을 명확히 이해하면 시험 대비에 도움이 될 것입니다.