ㅁ DNN 및 최신 모델

ㅇ 정의:
심층 신경망(DNN)의 일종으로, 잔차 학습(Residual Learning) 구조를 도입하여 매우 깊은 네트워크에서도 학습이 가능하도록 한 모델.

ㅇ 특징:
– Skip Connection(잔차 연결)을 통해 기울기 소실(Vanishing Gradient) 문제를 완화.
– 50, 101, 152층 등 매우 깊은 구조에서도 학습 안정성 확보.
– ImageNet 대회에서 높은 성능 기록.

ㅇ 적합한 경우:
– 이미지 분류, 객체 탐지, 영상 인식 등 고성능 시각 모델이 필요한 경우.
– 네트워크 깊이를 늘려 성능 향상을 노리는 경우.

ㅇ 시험 함정:
– Skip Connection이 단순히 층을 건너뛰는 것이 아니라 입력을 출력에 더하는 구조임을 혼동.
– ResNet은 CNN의 한 종류이며 RNN과는 무관함.
– 깊이가 깊어질수록 항상 성능이 좋아진다고 단정할 수 없음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: ResNet은 잔차 연결을 통해 기울기 소실 문제를 완화한다.
X: ResNet은 순환 구조를 이용하여 시계열 데이터를 처리한다.

================================

1. ResNet

ㅇ 정의:
Microsoft Research에서 제안한 딥러닝 모델로, Residual Block을 통해 깊은 신경망 학습을 가능하게 한 CNN 아키텍처.

ㅇ 특징:
– Residual Block: 입력을 다음 층의 출력에 더하는 구조.
– Batch Normalization, ReLU 활성화 함수와 함께 사용.
– 네트워크 깊이가 깊어져도 학습 오류가 감소하는 경향.

ㅇ 적합한 경우:
– 대규모 이미지 데이터셋 학습.
– 전이 학습(Transfer Learning)의 기반 모델.

ㅇ 시험 함정:
– Residual Block이 없는 CNN은 깊어질수록 학습이 어려워짐.
– ResNet의 skip connection은 가중치가 없는 단순 덧셈 구조임.
– ResNet-50, ResNet-101 등의 숫자는 층 수를 의미.

ㅇ 시험 대비 “패턴 보기” 예시:
O: ResNet의 skip connection은 입력을 출력에 더하여 기울기 소실을 완화한다.
X: ResNet은 층 사이에 곱셈 연산을 추가하여 성능을 향상시킨다.

ㅁ 추가 학습 내용

ResNet 변형 모델
– ResNeXt: 그룹화된 convolution(grouped convolution)을 사용하여 성능과 효율성을 향상시킨 구조.
– Wide ResNet: 네트워크의 깊이를 늘리는 대신 채널 수를 넓혀 학습 효율과 성능을 높임.
– DenseNet: 모든 레이어를 이전 레이어의 출력과 연결하여(feature reuse) 정보 흐름을 강화하고 파라미터 수를 줄임.

Residual Block
– 수식: y = F(x) + x
– F(x)는 convolution, batch normalization, ReLU 등의 연산으로 구성된 변환 함수.
– Skip connection을 통해 입력 x를 출력에 직접 더해줌으로써 기울기 소실 문제를 완화하고 학습을 안정화.

Bottleneck 구조
– 1×1 convolution → 3×3 convolution → 1×1 convolution 조합으로 구성.
– 1×1 convolution으로 채널 수를 줄여 계산량 감소, 3×3 convolution으로 특성 추출, 마지막 1×1 convolution으로 채널 수 복원.
– 깊은 네트워크에서도 연산 효율성을 높이고 파라미터 수를 줄이는 목적.

역사적 배경
– ResNet은 ImageNet 2015 대회에서 우승하며 딥러닝 모델 설계의 새로운 패러다임을 제시.
– 매우 깊은 네트워크(152층)에서도 효율적으로 학습 가능하다는 것을 입증.

Degradation Problem 해결
– 깊은 네트워크에서 층이 많아질수록 훈련 오차가 증가하는 문제를 Skip connection으로 해결.
– 잔차 학습(residual learning)을 통해 네트워크가 학습해야 하는 목표를 직접 매핑이 아닌 잔차로 단순화하여 학습 안정성과 성능을 향상.