ㅁ 정규화 및 규제

ㅇ 정의:
– 정규화 및 규제는 머신러닝 모델의 학습 과정에서 과적합을 방지하고 학습 속도를 개선하기 위한 기법들을 포함한다.

ㅇ 특징:
– 입력 데이터나 모델의 가중치를 일정한 범위로 조정하여 학습 안정성을 높인다.
– 다양한 정규화 및 규제 기법이 있으며, 각 기법은 특정한 상황에 적합하다.

ㅇ 적합한 경우:
– 과적합이 우려되는 경우.
– 학습이 불안정하거나 수렴 속도가 느린 경우.

ㅇ 시험 함정:
– 정규화와 규제를 혼동하거나, 특정한 기법의 적용 상황을 잘못 이해하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 정규화는 입력 데이터의 분포를 조정하여 학습 안정성을 높이는 데 도움을 준다.
– X: 규제는 학습 속도를 높이는 데 기여하지 않는다.

================================

1. Layer Normalization

ㅇ 정의:
– Layer Normalization은 신경망의 각 층에 대해 정규화를 수행하여 학습 안정성을 높이는 기법이다.

ㅇ 특징:
– 각 층의 활성화 값에 대해 평균과 분산을 계산하여 정규화.
– 배치 크기에 영향을 받지 않으며, RNN과 같은 순환 신경망에서도 효과적으로 사용 가능.

ㅇ 적합한 경우:
– 배치 크기가 작거나 가변적인 경우.
– RNN, Transformer와 같은 구조에서 학습 안정성을 높이고자 할 때.

ㅇ 시험 함정:
– Batch Normalization과 혼동하는 경우.
– 배치 크기와 무관하게 작동한다는 특징을 간과하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Layer Normalization은 배치 크기에 영향을 받지 않는다.
– X: Layer Normalization은 배치 크기가 클수록 효과적이다.

ㅁ 추가 학습 내용

Layer Normalization과 Batch Normalization은 신경망 학습의 안정성과 속도를 개선하기 위해 사용되는 정규화 기법으로, 주요 차이점과 장단점은 다음과 같습니다.

1. Batch Normalization:
– **작동 방식**: 배치 단위로 입력 데이터를 정규화하여 평균이 0, 분산이 1이 되도록 조정.
– **배치 크기 의존성**: 배치 크기에 의존하며, 배치 크기가 작을 경우 통계값이 불안정해질 수 있음.
– **장점**:
– 딥러닝 모델의 학습 속도를 크게 향상시킴.
– 과적합 방지에 도움을 줄 수 있음.
– **단점**:
– 배치 크기가 작거나 RNN과 같은 순차적 데이터 처리 모델에서 사용하기 어려움.
– 배치 크기에 따라 성능이 영향을 받을 수 있음.

2. Layer Normalization:
– **작동 방식**: 하나의 샘플 내에서 각 뉴런의 출력을 정규화하여 평균이 0, 분산이 1이 되도록 조정.
– **배치 크기 의존성**: 배치 크기에 의존하지 않음.
– **장점**:
– 배치 크기에 독립적이므로, 배치 크기가 작은 경우에도 안정적으로 작동.
– RNN, Transformer와 같은 모델에서 효과적으로 사용 가능.
– **단점**:
– Batch Normalization에 비해 일반적으로 학습 속도가 느릴 수 있음.
– 특정 데이터셋에서는 Batch Normalization에 비해 성능이 떨어질 수 있음.

3. Transformer 모델에서의 Layer Normalization:
– Layer Normalization은 Transformer 모델에서 중요한 역할을 하며, 특히 Attention 메커니즘과 Feedforward Layer의 출력값을 안정화시키는 데 사용됨.
– 배치 크기와 무관하게 작동하기 때문에, Transformer와 같은 구조에서 매우 적합하며, 이는 자연어 처리 및 시퀀스 데이터 관련 작업에서 필수적인 특성임.

시험 대비를 위해 이러한 차이점과 장단점을 명확히 이해하고, Layer Normalization이 Transformer 모델에서 중요한 이유를 추가적으로 학습하는 것이 중요합니다.