ㅁ 신경망 구조

ㅇ 정의:
– 신경망 구조는 인공 신경망 모델의 계층적 설계로, 데이터의 특징을 학습하고 추론하는 데 사용되는 다양한 네트워크 구조를 포함합니다.

ㅇ 특징:
– 다양한 문제에 적합한 구조를 선택할 수 있음.
– 데이터의 특성과 목적에 따라 설계가 달라짐.

ㅇ 적합한 경우:
– 데이터의 복잡한 패턴을 학습해야 하는 경우.
– 특정 도메인에 최적화된 모델이 필요한 경우.

ㅇ 시험 함정:
– 신경망 구조의 정의와 특징을 혼동할 가능성.
– 특정 구조가 모든 문제에 적합하다고 생각하는 오류.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 신경망 구조는 데이터의 특성과 문제에 따라 설계가 달라진다.
– X: 모든 신경망 구조는 동일한 학습 성능을 가진다.

================================

1. Capsule Network

ㅇ 정의:
– Capsule Network는 데이터의 공간적 계층 구조를 보존하며, 객체의 위치와 방향 정보를 효율적으로 학습할 수 있는 신경망 구조입니다.

ㅇ 특징:
– 객체의 위치, 방향, 크기 등의 관계를 학습 가능.
– 기존 CNN보다 더 적은 데이터로도 높은 성능을 발휘할 수 있음.
– 동적 라우팅 알고리즘을 사용하여 캡슐 간 연결을 최적화.

ㅇ 적합한 경우:
– 이미지 데이터에서 객체의 공간적 관계를 학습해야 하는 경우.
– 데이터의 왜곡이나 회전에 강한 모델이 필요한 경우.

ㅇ 시험 함정:
– Capsule Network와 CNN의 차이를 명확히 이해하지 못하는 경우.
– 동적 라우팅 알고리즘의 작동 원리를 혼동하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Capsule Network는 객체의 위치와 방향 정보를 보존하며 학습할 수 있다.
– X: Capsule Network는 객체의 공간적 관계를 무시한다.

ㅁ 추가 학습 내용

동적 라우팅 알고리즘은 Capsule Network에서 중요한 역할을 하며, 캡슐 간의 연결 강도를 조정하여 객체의 계층적 관계를 학습합니다. 이 알고리즘의 작동 원리는 다음과 같습니다:

1. **초기 연결 강도 설정**: 캡슐 네트워크에서 각 캡슐은 객체의 특정 속성을 나타냅니다. 하위 계층의 캡슐에서 상위 계층의 캡슐로 정보를 전달할 때, 처음에는 연결 강도(일종의 가중치)가 임의로 설정됩니다.

2. **예측 벡터 계산**: 하위 계층의 각 캡슐은 자신의 상태를 바탕으로 상위 계층의 캡슐로 전달될 예측 벡터를 계산합니다. 이 벡터는 하위 캡슐의 출력과 초기 연결 강도를 곱하여 생성됩니다.

3. **캡슐 간의 연결 강도 업데이트**: 동적 라우팅의 핵심은 연결 강도를 반복적으로 업데이트하는 과정입니다. 상위 계층의 캡슐은 여러 하위 계층 캡슐로부터 예측 벡터를 수신하며, 이 벡터들을 종합하여 실제 출력 벡터를 계산합니다. 상위 캡슐의 출력 벡터와 하위 캡슐이 보낸 예측 벡터 간의 유사도를 측정하여 연결 강도를 조정합니다. 유사도가 높을수록 연결 강도가 강해지고, 유사도가 낮을수록 연결 강도가 약해집니다.

4. **루프 반복**: 이 과정은 여러 번 반복되며, 각 반복에서 연결 강도가 점점 더 정확하게 조정됩니다. 최종적으로, 하위 계층 캡슐은 자신이 가장 관련성이 높은 상위 계층 캡슐과 강하게 연결됩니다.

5. **객체의 계층적 관계 학습**: 동적 라우팅을 통해 캡슐 네트워크는 객체의 부분과 전체 간의 관계를 학습합니다. 예를 들어, 자동차의 바퀴를 나타내는 하위 캡슐은 자동차 전체를 대표하는 상위 캡슐과 강하게 연결됩니다. 이러한 계층적 관계는 객체의 구조와 구성 요소를 이해하는 데 도움을 줍니다.

구체적인 사례로, 이미지에서 자동차를 인식하는 과정을 생각해볼 수 있습니다. 바퀴, 차체, 창문 등의 하위 특성을 나타내는 캡슐들은 동적 라우팅을 통해 자동차 전체를 나타내는 상위 캡슐과 연결됩니다. 이 과정에서 네트워크는 자동차의 구성 요소들이 어떻게 결합되어 전체 자동차를 형성하는지 학습합니다.