ㅁ 정규화 및 규제

ㅇ 정의:
입력 데이터를 채널 단위로 그룹을 나누어 각 그룹별로 평균과 분산을 계산하여 정규화하는 방법. 배치 크기에 영향을 받지 않도록 설계되어 소규모 배치나 1개 샘플 입력에도 안정적으로 동작함.

ㅇ 특징:
– 배치 크기에 의존하지 않음 (Batch Normalization과 달리)
– 채널을 G개의 그룹으로 나누어 그룹별 통계량 계산
– CNN, 3D CNN, NLP 등 다양한 구조에서 사용 가능
– GPU/TPU 환경에서 일관된 성능 보장

ㅇ 적합한 경우:
– 배치 크기가 매우 작거나 1인 경우
– 온라인 추론 환경에서 배치가 일정하지 않은 경우
– 메모리 제약이 있어 큰 배치를 사용하기 어려운 경우

ㅇ 시험 함정:
– Batch Normalization과 혼동하여 ‘배치 크기에 따라 성능이 저하된다’는 설명이 나오면 X
– Layer Normalization과 혼동하여 ‘채널 전체를 하나의 그룹으로 본다’는 설명이 나오면 X
– Group Normalization은 학습/추론 시 동일하게 동작한다 → O

ㅇ 시험 대비 “패턴 보기” 예시:
– “Group Normalization은 배치 크기가 작을 때도 안정적으로 동작한다” → O
– “Group Normalization은 배치별 평균과 분산을 계산한다” → X
– “Group Normalization은 채널을 여러 그룹으로 나누어 정규화한다” → O
– “Group Normalization은 추론 시 이동 평균을 사용한다” → X

ㅁ 추가 학습 내용

Group Normalization에서 그룹의 개수(G)는 하이퍼파라미터로, G가 너무 작으면 Layer Normalization에 가까워지고, 너무 크면 Instance Normalization에 가까워진다. Batch Normalization에 비해 학습 속도가 다소 느릴 수 있으며, GPU 병렬 처리 효율이 떨어질 수 있다. 시험에서는 Group Normalization의 목적이 데이터 분포 변화(Internal Covariate Shift) 완화임을 물을 수 있다. 또한 배치 크기 변화에 영향을 받지 않는다는 점과 추론 시에도 학습과 동일한 방식으로 동작한다는 점이 자주 출제된다.