ㅁ 대체 모델/접근법

1. Spiking Neural Networks

ㅇ 정의:
– 생물학적 뉴런의 발화(spike) 메커니즘을 모사하여 시간에 따라 불연속적인 이벤트로 신호를 처리하는 신경망.

ㅇ 특징:
– 이벤트 기반 처리로 에너지 효율이 높음.
– 시간 정보(Time Dynamics)를 자연스럽게 반영.
– 뉴로모픽 하드웨어와 결합 시 저전력 고속 처리 가능.

ㅇ 적합한 경우:
– 센서에서 이벤트 기반 데이터가 발생하는 경우(예: DVS 카메라).
– 전력 제약이 큰 임베디드 AI 시스템.

ㅇ 시험 함정:
– CNN, RNN과 동일하게 연속적인 실수값 출력을 사용하는 것으로 착각.
– GPU 기반 학습이 항상 효율적이라고 생각하는 오류.

ㅇ 시험 대비 “패턴 보기” 예시:
– “SNN은 연속적인 실수값 출력을 사용한다.” → X
– “SNN은 이벤트 기반 처리로 에너지 효율이 높다.” → O

2. Capsule Networks

ㅇ 정의:
– 뉴런 집합을 캡슐 단위로 묶어 객체의 위치, 방향 등 속성을 보존하며 계층적으로 표현하는 신경망 구조.

ㅇ 특징:
– 객체의 포즈(위치, 방향) 변화에 강건.
– 동적 라우팅(Dynamic Routing) 기법 사용.
– 적은 데이터로도 일반화 성능이 높음.

ㅇ 적합한 경우:
– 이미지 내 객체의 위치 변화를 고려해야 하는 경우.
– 데이터 증강이 어려운 환경.

ㅇ 시험 함정:
– CNN의 풀링(Pooling)과 동일하게 정보 손실이 심하다고 오해.
– 동적 라우팅을 단순한 가중치 학습으로 혼동.

ㅇ 시험 대비 “패턴 보기” 예시:
– “Capsule Network는 객체의 포즈 정보를 보존한다.” → O
– “Capsule Network는 풀링을 통해 위치 정보를 제거한다.” → X

3. Energy-Based Models

ㅇ 정의:
– 데이터와 모델 상태에 에너지를 할당하고, 낮은 에너지를 갖는 상태가 더 가능성이 높다고 가정하는 확률적 모델.

ㅇ 특징:
– Boltzmann Machine, Restricted Boltzmann Machine(RBM) 등이 대표적.
– 확률 분포를 명시적으로 계산하지 않고 에너지 함수를 최적화.

ㅇ 적합한 경우:
– 비지도 학습, 특징 추출, 확률적 생성 모델.
– 희소 데이터에서 패턴 발견.

ㅇ 시험 함정:
– 항상 지도학습에만 사용된다고 생각하는 오류.
– 에너지 값이 높을수록 가능성이 높다고 잘못 이해.

ㅇ 시험 대비 “패턴 보기” 예시:
– “EBM은 낮은 에너지 상태가 더 가능성이 높다.” → O
– “EBM은 확률 분포를 직접 계산한다.” → X

4. Hypernetworks

ㅇ 정의:
– 다른 신경망의 가중치를 생성하는 신경망.

ㅇ 특징:
– 파라미터 공유 및 효율적 학습 가능.
– 다양한 작업에 빠르게 적응(Meta-learning).
– 모델 크기 축소 가능.

ㅇ 적합한 경우:
– 다중 작업 학습(Multi-task Learning).
– 자원이 제한된 환경에서 모델 경량화.

ㅇ 시험 함정:
– Hypernetwork 자체가 최종 예측을 수행한다고 오해.
– 모든 경우에 모델 크기를 줄일 수 있다고 단정.

ㅇ 시험 대비 “패턴 보기” 예시:
– “Hypernetwork는 다른 모델의 가중치를 생성한다.” → O
– “Hypernetwork는 항상 모델 크기를 줄인다.” → X

ㅁ 추가 학습 내용

Spiking Neural Networks에서는 학습 시 Backpropagation Through Time(BPTT) 대신 Surrogate Gradient 기법이 자주 사용되므로 이에 대한 이해가 필요하다.
Capsule Networks에서는 Dynamic Routing 알고리즘의 구체적인 동작 원리와 한계점(계산량 증가, 학습 불안정성)을 파악해야 한다.
Energy-Based Models에서는 Contrastive Divergence 학습 방식과 Gibbs Sampling과 같은 샘플링 기법이 시험에 출제될 수 있다.
Hypernetworks에서는 Few-shot Learning, Continual Learning과의 연관성을 이해하고, Parameter-efficient Fine-tuning 기법(Prefix-tuning, LoRA)과의 비교가 요구될 수 있다.