ㅁ 네트워크 구조

ㅇ 정의:
– 네트워크 구조는 인공신경망의 계층적 설계를 의미하며, 모델의 성능과 효율성에 큰 영향을 미치는 요소입니다.

ㅇ 특징:
– 다양한 목적에 따라 설계된 구조를 통해 모델의 학습 능력과 계산 효율을 조정할 수 있습니다.

ㅇ 적합한 경우:
– 특정 데이터셋이나 애플리케이션에 최적화된 모델이 필요한 경우.

ㅇ 시험 함정:
– 네트워크 구조의 설계 원리를 이해하지 못한 채 암기만 하는 경우, 실제 시험 문제에서 혼동을 초래할 수 있습니다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 네트워크 구조는 모델의 학습 성능에 영향을 미친다.
– X: 네트워크 구조는 데이터 전처리에만 영향을 미친다.

================================

1. EfficientNet

ㅇ 정의:
– EfficientNet은 모델 크기(깊이, 너비, 해상도)를 균형 있게 확장하여 효율성과 성능을 동시에 극대화한 신경망 구조입니다.

ㅇ 특징:
– 모델 확장을 위한 균형 조정 방식을 제안하며, 기존 모델 대비 적은 계산량으로 높은 정확도를 제공합니다.
– Compound Scaling 방식을 사용하여 깊이, 너비, 해상도를 동시에 조정합니다.

ㅇ 적합한 경우:
– 제한된 계산 자원에서 높은 성능이 요구되는 경우.
– 모바일 환경이나 임베디드 시스템에서의 딥러닝 모델 적용.

ㅇ 시험 함정:
– EfficientNet의 Compound Scaling 개념을 단순히 크기 증가로만 이해할 경우 오답을 선택할 가능성이 높습니다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: EfficientNet은 Compound Scaling을 통해 모델 크기를 균형 있게 확장한다.
– X: EfficientNet은 깊이만 확장하여 성능을 높인다.

ㅁ 추가 학습 내용

EfficientNet의 성능 비교를 위해 기존 모델인 ResNet, VGGNet과의 차이점을 명확히 이해하기 위해 다음 내용을 학습하세요:

1. **ResNet**:
– 특징: ResNet은 Residual Block을 활용하여 딥러닝 모델이 깊어질수록 발생하는 기울기 소실 문제를 해결합니다.
– 구조: Residual Block은 입력을 그대로 출력으로 전달하는 skip connection을 포함하여 학습 성능을 개선합니다.
– 장점: 깊은 네트워크에서도 성능 저하 없이 학습 가능하며, 다양한 변형 모델(ResNet-50, ResNet-101 등)이 존재합니다.
– 단점: 네트워크가 깊어질수록 계산량이 많아지고, 모델 크기가 커질 수 있습니다.

2. **VGGNet**:
– 특징: VGGNet은 네트워크를 매우 깊게 설계하여 성능을 향상시킵니다.
– 구조: 작은 3×3 필터를 사용하며, 네트워크의 깊이를 증가시켜 더 복잡한 표현을 학습할 수 있도록 설계되었습니다.
– 장점: 간단한 구조로 인해 이해하기 쉽고, 다양한 이미지 분류 작업에서 효과적입니다.
– 단점: 네트워크가 깊어질수록 계산량과 메모리 사용량이 증가하며, 모델 크기가 매우 커질 수 있습니다.

3. **EfficientNet**:
– 특징: EfficientNet은 모델의 크기(너비, 깊이, 해상도)를 균형 있게 조정하여 효율성을 극대화합니다.
– 구조: Compound Scaling이라는 방법을 사용하여 네트워크의 크기를 조화롭게 확장합니다.
– 장점: 기존 모델보다 적은 계산량으로 높은 성능을 달성하며, 다양한 변형 모델(EfficientNet-B0 ~ B7)이 제공됩니다.
– 차별점: ResNet과 VGGNet은 단순히 네트워크 깊이를 증가시키거나 특정 구조를 고정하는 방식인 반면, EfficientNet은 AutoML 기반으로 구조를 최적화하여 효율성과 성능을 모두 향상시킵니다.

EfficientNet에서 사용된 AutoML 기반의 Neural Architecture Search(NAS)에 대한 기본 개념과 활용 사례를 학습하기 위해 다음 내용을 참고하세요:

1. **Neural Architecture Search(NAS)**:
– 개념: NAS는 딥러닝 모델의 구조를 자동으로 설계하는 기법으로, 사람이 직접 설계하지 않아도 최적의 네트워크 구조를 탐색할 수 있습니다.
– 방법: NAS는 탐색 공간을 정의한 뒤, 강화 학습, 진화 알고리즘, 또는 그리디 알고리즘을 통해 최적의 모델 구조를 찾습니다.
– 장점: 사람이 설계한 모델보다 더 효율적이고 성능이 좋은 모델을 생성할 수 있습니다.
– 단점: 탐색 과정에서 많은 계산 자원이 필요하며, 실행 시간이 길어질 수 있습니다.

2. **EfficientNet에서의 NAS 활용**:
– EfficientNet은 NAS를 통해 네트워크 구조를 최적화하여 Compound Scaling을 적용할 수 있는 기본 구조를 설계했습니다.
– NAS를 활용하여 네트워크의 깊이, 너비, 해상도를 균형 있게 확장하는 방법을 자동으로 탐색하여 효율적인 모델을 생성했습니다.

3. **NAS 활용 사례**:
– Google의 AutoML: NAS를 통해 다양한 모델을 설계하고 이미지 분류, 객체 탐지 등의 작업에 활용.
– MobileNetV3: NAS를 사용하여 모바일 환경에 최적화된 경량 모델을 설계.
– EfficientNet: NAS를 기반으로 설계된 대표적인 사례로, 이미지 분류 작업에서 높은 성능을 발휘.

위 내용을 바탕으로 EfficientNet과 기존 모델의 차이점 및 NAS 기법의 개념과 활용 사례를 명확히 이해하면 시험 대비에 도움이 될 것입니다.