ㅁ DNN 및 최신 모델

ㅇ 정의:
심층 신경망(DNN) 구조에서 발생하는 기울기 소실 문제를 해결하기 위해 잔차 학습(residual learning)을 도입한 모델.

ㅇ 특징:
– 깊은 네트워크에서도 성능 저하 없이 학습 가능.
– 잔차 블록(residual block)을 사용하여 입력과 출력을 연결.
– 이미지 분류, 물체 인식 등 다양한 비전 작업에 널리 사용.

ㅇ 적합한 경우:
– 매우 깊은 신경망 구조를 필요로 하는 이미지 처리 작업.
– 기울기 소실 문제를 해결해야 하는 경우.

ㅇ 시험 함정:
– ResNet의 주요 특징인 잔차 연결을 단순히 ‘출력 연결’로 오해하는 경우.
– ResNet이 항상 모든 데이터셋에서 최고의 성능을 보인다고 착각하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
1. ResNet은 기울기 소실 문제를 해결하기 위해 잔차 학습을 도입하였다. (O)
2. ResNet은 잔차 연결 없이도 깊은 네트워크를 효과적으로 학습할 수 있다. (X)
3. ResNet은 이미지 처리 작업에만 사용된다. (X)

================================

1. ResNet

ㅇ 정의:
잔차 학습을 통해 깊은 신경망에서의 성능 저하 문제를 해결한 딥러닝 모델.

ㅇ 특징:
– 잔차 블록을 사용하여 입력 정보를 보존.
– 네트워크가 깊어질수록 성능이 향상될 수 있는 구조 제공.

ㅇ 적합한 경우:
– 복잡한 이미지 데이터셋을 다룰 때.
– 네트워크 깊이에 따른 성능 향상이 필요한 경우.

ㅇ 시험 함정:
– 잔차 블록의 역할을 단순히 ‘연결’로만 이해하는 경우.
– ResNet 구조가 모든 문제에 적합하다고 생각하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
1. ResNet은 잔차 연결을 통해 입력과 출력을 직접 연결한다. (O)
2. ResNet은 기울기 폭발 문제를 해결하기 위해 설계되었다. (X)
3. ResNet은 깊은 네트워크에서만 사용 가능하다. (X)

ㅁ 추가 학습 내용

ResNet과 관련된 시험 대비를 위해 다음과 같은 내용을 학습하면 효과적입니다.

1. 잔차 블록의 구조:
– ResNet의 기본 구성 요소는 잔차 블록(residual block)입니다.
– 잔차 블록은 입력값을 그대로 출력에 더해주는 skip connection(잔차 연결)을 포함합니다.
– 구체적으로, 입력 x가 있을 때, 블록 내부에서 비선형 변환을 거친 결과 F(x)를 계산하고, 최종 출력은 F(x) + x로 표현됩니다.
– 이 구조는 네트워크가 학습해야 할 것을 F(x)로 제한하여 학습을 단순화하고, 깊은 네트워크에서도 효과적으로 학습할 수 있도록 도와줍니다.

2. ResNet의 다양한 변형 모델:
– ResNet-50, ResNet-101 등은 네트워크의 깊이에 따라 이름이 붙습니다.
– 예를 들어, ResNet-50은 50개의 레이어를 가진 모델로, 1×1, 3×3, 1×1 필터를 사용하는 bottleneck 구조를 포함합니다.
– ResNet-101은 101개의 레이어를 가진 모델로, 더 깊은 네트워크 구조를 통해 복잡한 특징을 학습할 수 있습니다.
– 이러한 변형 모델들은 깊이에 따라 성능과 계산 복잡도 간의 트레이드오프를 제공합니다.

3. 잔차 연결이 학습에 미치는 구체적인 영향:
– 잔차 연결은 깊은 네트워크에서 기울기 소실 문제를 완화합니다.
– 잔차 연결이 없다면, 네트워크가 깊어질수록 기울기가 소실되거나 폭발하여 학습이 어려워질 수 있습니다.
– 잔차 연결은 역전파 시 기울기를 직접 입력으로 전달할 수 있어, 기울기가 소실되지 않도록 돕습니다.
– 이는 수학적으로도 설명할 수 있으며, 잔차 연결을 통해 기울기 전파 경로가 짧아져 안정적인 학습이 가능해집니다.

4. 기울기 소실 문제 해결의 수학적 설명:
– 전통적인 네트워크에서는 깊이가 깊어질수록 기울기 값이 연속적인 곱셈으로 인해 점점 작아지거나 커지게 됩니다.
– ResNet에서는 출력 y = F(x) + x로 표현되므로, 역전파 시 기울기 dy/dx는 F'(x) + 1이 됩니다.
– 이로 인해 기울기 값이 1을 포함하여 전파되므로, 깊은 네트워크에서도 학습이 안정적으로 이루어집니다.

위의 내용을 중심으로 ResNet의 구조와 원리를 이해하고, 잔차 연결의 역할과 효과를 명확히 정리하면 시험 준비에 큰 도움이 될 것입니다.