AI: 대체 모델 및 접근법
ㅁ 대체 모델 및 접근법
1. Spiking Neural Networks
ㅇ 정의:
– 생물학적 뉴런의 발화(spike) 메커니즘을 모사하여 시간에 따른 이산 이벤트로 정보를 처리하는 신경망.
ㅇ 특징:
– 뉴런이 특정 임계값에 도달할 때만 신호를 발화하여 에너지 효율성이 높음.
– 시간 정보(temporal dynamics)를 자연스럽게 표현 가능.
– 하드웨어 구현 시 뉴로모픽 칩과 결합하여 초저전력 연산 가능.
ㅇ 적합한 경우:
– IoT, 엣지 디바이스 등 전력 제약이 큰 환경.
– 시계열, 센서 이벤트 데이터 처리.
ㅇ 시험 함정:
– CNN이나 RNN과 동일하게 연속값을 처리한다고 오해하는 경우.
– 발화 시점 정보가 중요하다는 점을 간과.
ㅇ 시험 대비 “패턴 보기” 예시:
– O: “SNN은 이벤트 기반 처리로 에너지 효율성을 높인다.”
– X: “SNN은 모든 입력을 실시간 연속 값으로 처리한다.”
================================
2. Capsule Networks
ㅇ 정의:
– 뉴런 집합(캡슐)이 객체의 위치, 방향 등 다양한 속성을 벡터로 표현하고 계층적으로 연결하는 신경망 구조.
ㅇ 특징:
– 객체의 위치 변화나 회전에 강인함.
– Dynamic Routing을 통해 캡슐 간 정보 전달.
– 데이터 효율성이 높음.
ㅇ 적합한 경우:
– 이미지 인식에서 포즈 변화가 많은 경우.
– 소량 데이터로도 객체 특성 학습이 필요한 경우.
ㅇ 시험 함정:
– CNN의 풀링(pooling)과 동일하게 정보 손실이 크다고 오해.
– Dynamic Routing을 단순한 fully connected로 착각.
ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Capsule Network는 객체의 위치와 방향 정보를 보존한다.”
– X: “Capsule Network는 풀링으로 위치 정보를 제거한다.”
================================
3. Energy-Based Models
ㅇ 정의:
– 데이터와 모델 상태에 에너지 값을 부여하고, 학습을 통해 낮은 에너지를 가지는 상태를 찾는 모델.
ㅇ 특징:
– 확률 분포를 명시적으로 계산하지 않고 에너지 함수를 최소화.
– 대표적으로 Boltzmann Machine, Restricted Boltzmann Machine(RBM) 등이 있음.
ㅇ 적합한 경우:
– 생성 모델링, 패턴 인식, 추천 시스템.
ㅇ 시험 함정:
– 에너지가 높을수록 가능성이 높다고 잘못 이해.
– 확률적 그래픽 모델과 동일시.
ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Energy-Based Model은 낮은 에너지를 갖는 상태를 선호한다.”
– X: “Energy-Based Model은 높은 에너지를 갖는 상태를 선호한다.”
================================
4. Hypernetworks
ㅇ 정의:
– 다른 신경망의 가중치를 생성하는 신경망.
ㅇ 특징:
– 파라미터 공유와 동적 가중치 생성을 통해 메모리 효율성 향상.
– 다양한 작업에 빠르게 적응 가능.
ㅇ 적합한 경우:
– 멀티태스크 학습, 파라미터 수가 많은 모델의 경량화.
– 메타러닝, 적응형 시스템.
ㅇ 시험 함정:
– 하이퍼파라미터 최적화 기법과 혼동.
– 단일 모델의 구조 변경으로만 이해.
ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Hypernetwork는 다른 모델의 가중치를 생성할 수 있다.”
– X: “Hypernetwork는 하이퍼파라미터를 자동으로 튜닝하는 기법이다.”
ㅁ 추가 학습 내용
Spiking Neural Networks
– Spike-Timing Dependent Plasticity(STDP)와 같은 학습 규칙 이해
– 뉴로모픽 하드웨어 예시: Intel Loihi, IBM TrueNorth
Capsule Networks
– Dynamic Routing 알고리즘의 동작 방식 숙지
– 기존 CNN 대비 장단점 비교
Energy-Based Models
– Contrastive Divergence 학습법 이해
– Gibbs Sampling 절차 숙지
– Boltzmann Machine의 구조 구체적으로 이해
Hypernetworks
– 메타러닝과의 관계 파악
– Few-Shot Learning에서의 활용 사례 숙지
– 파라미터 수 절감 비율 계산 문제 대비