ㅁ 대체 모델 및 접근법

ㅇ 정의:
인간 뇌의 뉴런 발화(spike) 메커니즘을 모방하여, 연속적인 값이 아닌 이벤트 기반의 이산적인 신호를 처리하는 신경망 모델.

ㅇ 특징:
– 뉴런은 특정 임계값에 도달할 때만 스파이크를 발생시킴.
– 전력 소모가 적고, 이벤트 중심 처리로 효율적.
– 시간 정보를 자연스럽게 인코딩 가능.
– 하드웨어적으로 Neuromorphic 칩과 결합 시 장점 극대화.

ㅇ 적합한 경우:
– 저전력, 실시간 센서 데이터 처리(예: IoT, 로봇 비전).
– 이벤트 기반 카메라(DVS) 데이터 분석.
– 뇌-기계 인터페이스 연구.

ㅇ 시험 함정:
– 전통적인 CNN/RNN과의 차이점을 혼동하게 하는 문제.
– ‘연속 신호 처리’라고 오답 유도.
– SNN이 항상 학습이 빠르다고 단정짓는 문장.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “SNN은 뉴런이 임계값에 도달할 때만 스파이크를 발생시킨다.”
X: “SNN은 모든 입력에 대해 연속적으로 출력을 생성한다.”

ㅁ 추가 학습 내용

Spiking Neural Networks(SNN) 추가 학습 정리

1. 학습 알고리즘
– Spike-Timing-Dependent Plasticity(STDP): 뉴런 간 스파이크 발생 시점 차이에 따라 시냅스 가중치를 강화하거나 약화시키는 비지도 학습 규칙. 프리시냅스 스파이크가 포스트시냅스 스파이크보다 먼저 발생하면 가중치가 증가, 반대의 경우 감소.
– Backpropagation Through Time(BPTT) 변형: 시간에 따른 스파이크 신호의 불연속성을 처리하기 위해 스파이크 발화 함수를 근사하거나 서브그래디언트를 사용하는 방식으로 SNN 학습에 적용.

2. 뉴런 동작 수학적 모델
– Leaky Integrate-and-Fire(LIF) 모델: 막 전위가 입력 전류에 의해 일정 비율로 누적되다가 임계값을 넘으면 스파이크 발생 후 전위가 리셋됨. 누설(leak) 항이 포함되어 전위가 자연 감소.
– Hodgkin–Huxley 모델: 이온 채널의 전기적 특성을 미분방정식으로 상세히 기술한 생물학적으로 정밀한 모델. 나트륨, 칼륨 이온 흐름과 막 전위 변화를 수식화.

3. Neuromorphic 하드웨어 예시와 전력 효율성
– IBM TrueNorth: 1백만 뉴런, 2억 5천 6백만 시냅스 시뮬레이션. 매우 낮은 전력 소비(수십 mW 수준)로 동작.
– Intel Loihi: 온칩 학습 가능, 이벤트 기반 연산, 전력 효율성이 높아 전통적 CPU/GPU 대비 수십~수백 배 효율적.

4. SNN의 한계점과 극복 방안
– 한계점: 스파이크 기반 학습의 난이도, 기울기 소실 문제, 대규모 데이터셋 적용의 어려움.
– 극복 방안: CNN 등 기존 딥러닝 모델을 SNN으로 변환하는 하이브리드 접근법. 사전 학습된 CNN 가중치를 스파이크 기반 표현으로 매핑.

5. 이벤트 기반 센서(DVS)와 SNN 시너지
– DVS(Dynamic Vision Sensor): 픽셀 단위로 밝기 변화가 있을 때만 이벤트를 발생시켜 고속, 저전력, 비동기 데이터 생성.
– SNN과 결합 시 이벤트 데이터의 시간 정보와 희소성을 그대로 활용 가능. 빠른 반응과 낮은 전력 소모를 실현.

6. 시험 출제 가능 비교 및 분석 포인트
– SNN vs RNN/LSTM: SNN은 스파이크 시각 정보로 시간적 패턴을 처리, RNN/LSTM은 연속 값 상태와 게이트 구조로 시퀀스 처리.
– 이벤트 기반 처리 장단점: 장점은 낮은 전력, 빠른 반응, 정보 효율성. 단점은 기존 프레임 기반 처리와 호환성 낮음, 데이터 해석 난이도.
– 하드웨어 최적화 사례: Neuromorphic 칩에서의 병렬 이벤트 처리, 메모리 접근 최소화, 전력 절감 설계.