ㅁ 정규화 및 규제

ㅇ 정의:
– 정규화 및 규제는 모델의 과적합을 방지하고 학습 안정성을 높이기 위해 데이터나 모델 파라미터를 조정하는 기법을 의미한다.

ㅇ 특징:
– 다양한 정규화 방법과 규제 방식이 존재하며, 데이터의 분포와 모델 구조에 따라 적합한 방법이 다를 수 있다.

ㅇ 적합한 경우:
– 데이터의 스케일 차이가 큰 경우나 과적합이 발생할 가능성이 높은 경우.

ㅇ 시험 함정:
– 정규화와 규제를 혼동하거나, 특정 방식의 적용 상황을 잘못 이해하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 정규화는 데이터의 분포를 조정하여 학습 안정성을 높이는 데 사용된다.
– X: 규제는 정규화와 동일한 방식으로 데이터의 스케일을 조정한다.

================================

1. Group Normalization

ㅇ 정의:
– Group Normalization은 입력 데이터를 여러 그룹으로 나누어 각 그룹별로 정규화를 수행하는 방법이다.

ㅇ 특징:
– 배치 크기에 독립적이며, 작은 배치 크기에서도 안정적인 학습이 가능하다.
– 각 그룹 내에서 평균과 분산을 계산하여 정규화를 수행한다.

ㅇ 적합한 경우:
– 배치 크기가 작은 상황에서 Batch Normalization이 제대로 작동하지 않는 경우.

ㅇ 시험 함정:
– Group Normalization과 Batch Normalization의 차이를 혼동하거나, 그룹의 개수를 잘못 설정하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Group Normalization은 배치 크기에 의존하지 않는다.
– X: Group Normalization은 항상 Batch Normalization보다 성능이 우수하다.

ㅁ 추가 학습 내용

Group Normalization과 관련하여 학습해야 할 내용을 정리하면 다음과 같습니다.

1. Group Normalization의 특징:
– 채널 축을 기준으로 그룹을 나누어 정규화를 수행하며, 주로 CNN 모델에서 사용됩니다.
– 데이터의 배치 크기에 의존하지 않아 작은 배치 크기에서도 안정적으로 동작합니다.

2. 그룹의 개수 설정:
– 그룹의 개수가 너무 적으면 각 그룹의 표현력이 부족해질 수 있고, 너무 많으면 일반화 성능이 저하될 수 있습니다.
– 적절한 그룹 개수를 설정하는 것이 학습 성능에 중요한 영향을 미칩니다.

3. Batch Normalization과의 비교:
– Batch Normalization은 배치 크기에 의존하며, 배치 내 데이터의 평균과 분산을 사용하여 정규화합니다.
– Group Normalization은 배치 크기에 독립적이며, 채널을 그룹으로 나누어 정규화합니다.
– 메모리 사용량 및 계산량에서 두 방법의 차이를 이해해야 합니다.

4. 수식적 표현:
– Group Normalization의 수식적 표현을 정확히 이해하고, Batch Normalization과의 수식적 차이를 파악해야 합니다.

5. 시험 대비:
– Group Normalization과 Batch Normalization의 차이점, 장단점, 수식적 표현 등 비교를 묻는 문제가 출제될 가능성이 높으므로 이를 대비해야 합니다.