ㅁ 신경망 구조

ㅇ 정의:
인공 신경망의 구조적 설계를 의미하며, 입력층, 은닉층, 출력층의 배치와 연결 방식을 포함한다. 특정 문제 유형(이미지, 시계열, 자연어 처리 등)에 따라 최적화된 구조가 다르다.

ㅇ 특징:
– 데이터 특성에 맞춘 계층 설계 필요
– 파라미터 수, 연산량, 학습 속도에 직접 영향
– 과적합 방지를 위한 규제(regularization)와 함께 설계 고려

ㅇ 적합한 경우:
– 문제 유형과 데이터 특성에 따라 맞춤형 모델이 필요한 경우
– 성능 최적화를 위해 구조 변경이 중요한 경우

ㅇ 시험 함정:
– 모든 문제에 동일한 구조가 최적이라는 오해
– 층 수를 늘리면 무조건 성능이 좋아진다는 착각

ㅇ 시험 대비 “패턴 보기” 예시:
O: “데이터 특성에 맞춘 계층 설계가 필요하다”
X: “모든 문제에 동일한 신경망 구조를 적용하는 것이 최적이다”

================================

1. CNN

ㅇ 정의:
합성곱 신경망(Convolutional Neural Network)의 약자로, 이미지나 영상 처리에 특화된 인공 신경망 구조. 합성곱 연산을 통해 지역적 특징을 추출하고, 계층적으로 특징을 학습한다.

ㅇ 특징:
– 합성곱 계층(Convolution Layer)과 풀링 계층(Pooling Layer)으로 구성
– 파라미터 수가 완전연결층 대비 적어 과적합 위험 감소
– 지역적 수용영역(Receptive Field) 기반 특징 추출
– Translation Invariance(이동 불변성) 확보 가능

ㅇ 적합한 경우:
– 이미지 분류, 객체 탐지, 영상 인식
– 2D 패턴 인식이 중요한 경우

ㅇ 시험 함정:
– CNN이 모든 데이터 유형에 적합하다고 착각
– 합성곱 계층만으로 모델이 구성된다고 오해

ㅇ 시험 대비 “패턴 보기” 예시:
O: “CNN은 이미지의 지역적 특징을 효과적으로 추출한다”
X: “CNN은 시계열 데이터 분석에 항상 최적이다”

ㅁ 추가 학습 내용

CNN 추가 학습 정리

1. 합성곱 연산의 수학적 정의와 필터/커널의 역할
합성곱 연산은 입력 데이터와 필터(커널) 간의 요소별 곱셈 후 합산으로 정의된다. 필터는 작은 크기의 가중치 행렬로, 입력의 특정 지역적 패턴(에지, 질감 등)을 추출하는 역할을 한다.

2. 스트라이드(stride)와 패딩(padding)의 종류와 효과
스트라이드는 필터가 이동하는 간격으로, 값이 커질수록 출력 크기가 작아진다.
패딩은 입력 주변에 값을 추가하는 방식으로,
– Valid: 패딩 없이 연산, 출력 크기 감소
– Same: 출력 크기를 입력과 동일하게 유지하기 위해 적절한 패딩 적용

3. 풀링(pooling)의 종류와 목적
풀링은 공간적 크기를 줄이고 특징을 요약하는 과정이다.
– Max pooling: 영역 내 최댓값 선택
– Average pooling: 영역 내 평균값 계산
목적은 연산량 감소, 과적합 방지, 특징의 위치 변화에 대한 불변성 확보이다.

4. 채널(channel)의 개념과 RGB 이미지 처리 방식
채널은 데이터의 깊이 방향 차원으로, RGB 이미지는 3개의 채널(R, G, B)을 가진다. 합성곱 연산 시 필터는 모든 채널에 대해 연산 후 결과를 합산하여 하나의 출력 채널을 생성한다.

5. 파라미터 공유(parameter sharing)와 희소 연결(sparse connectivity)의 장점
파라미터 공유는 동일한 필터 가중치를 입력 전체에 적용하여 학습해야 할 파라미터 수를 줄인다. 희소 연결은 필터가 입력의 일부 영역에만 연결되어 연산량을 줄이고 지역적 특징 학습에 유리하다.

6. 대표적인 CNN 아키텍처 예시와 주요 차이점
– LeNet: 초기 손글씨 인식용, 작은 네트워크 구조
– AlexNet: 깊은 구조와 ReLU, 드롭아웃, GPU 활용
– VGG: 작은 3×3 필터를 깊게 쌓은 구조, 단순하지만 성능 우수
– ResNet: 잔차 연결(residual connection)로 매우 깊은 네트워크 학습 가능

7. 전이학습 시 CNN의 활용 방법
사전 학습된 CNN의 가중치를 가져와 새로운 데이터셋에 적용한다. 하위 계층은 고정하고 상위 계층만 재학습하거나, 전체를 미세 조정(fine-tuning)할 수 있다.

8. CNN의 시계열·자연어 처리 적용 변형과 한계
– 1D CNN: 시계열 데이터나 텍스트에서 시간축 또는 순서축만 따라 합성곱 수행
– Temporal Convolution: 시간적 패턴 학습에 특화
한계는 장기 의존성 학습이 어렵고, 순서 정보 보존이 제한적이라는 점이다.