ㅁ 정규화 및 규제

1. DropBlock

ㅇ 정의:
합성곱 신경망(CNN)에서 Dropout의 변형 기법으로, 연속된 영역(block) 단위로 feature map의 값을 0으로 만드는 규제 기법. 공간적 상관관계를 고려하여 무작위로 블록 형태를 제거함으로써 과적합을 방지한다.

ㅇ 특징:
– Dropout은 개별 뉴런을 무작위로 제거하지만, DropBlock은 인접한 픽셀 영역을 함께 제거.
– 학습 초기에는 제거 비율을 낮추고, 학습이 진행될수록 제거 비율을 높이는 스케줄링 적용 가능.
– 특히 CNN에서 공간적 구조를 보존하면서도 일반화 성능을 높임.

ㅇ 적합한 경우:
– 이미지 분류, 객체 탐지 등 CNN 기반 모델에서 과적합이 발생하는 경우.
– 데이터셋 크기가 작거나, 모델이 지나치게 복잡한 경우.

ㅇ 시험 함정:
– DropBlock은 완전연결층(FC layer)보다 합성곱층에서 효과적임.
– Dropout과 혼동하여 개별 뉴런 단위 제거로 설명하면 오답.
– SpatialDropout과 혼동 주의: SpatialDropout은 채널 단위로 제거, DropBlock은 공간적 연속 블록 제거.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “DropBlock은 CNN의 feature map에서 연속된 영역을 무작위로 제거하여 과적합을 방지한다.”
X: “DropBlock은 완전연결층 뉴런을 개별적으로 제거하는 규제 기법이다.”

ㅁ 추가 학습 내용

DropBlock은 CNN 계열 모델에서 연속된 영역을 마스킹하여 일반적인 드롭아웃보다 더 강한 정규화를 제공하는 기법이다.
드롭 블록 비율(drop block rate)은 제거되는 블록의 비율을 의미하며, 값이 높을수록 더 많은 피처 맵 영역이 제거되어 정규화 효과는 커지지만 과도하면 학습 성능이 저하될 수 있다.
블록 크기(block size)는 한 번에 제거되는 연속 영역의 크기를 결정하며, 너무 작으면 일반 드롭아웃과 유사해지고 너무 크면 정보 손실이 심해질 수 있다.
DropBlock은 학습 후반부에 점진적으로 강도를 높여 적용하는 방식이 효과적일 수 있으며, Drop Path나 Stochastic Depth 같은 다른 규제 기법과 함께 사용하면 시너지 효과를 낼 수 있다.

다른 기법과의 차이점은 다음과 같다.
SpatialDropout은 채널 단위로 피처 맵 전체를 드롭하여 채널 간 상관성을 줄인다.
Cutout은 입력 이미지의 일부 영역을 마스킹하는 데이터 증강 기법으로, 학습 데이터 레벨에서 적용된다.
Random Erasing은 Cutout과 유사하지만 마스킹 영역의 크기와 위치를 무작위로 다양하게 적용하며, 역시 데이터 증강 단계에서 수행된다.
DropBlock은 네트워크 내부의 피처 맵에 적용된다는 점에서 데이터 증강 계열 기법과 구분된다.