ㅁ 가속기 종류

ㅇ 정의:
– NPU(Neural Processing Unit)는 인공지능 연산, 특히 딥러닝의 행렬·벡터 연산을 효율적으로 처리하기 위해 설계된 전용 하드웨어 가속기.

ㅇ 특징:
– 대규모 병렬 연산에 최적화되어 있으며, CNN, RNN 등 신경망 연산의 MAC(Multiply-Accumulate) 연산을 고속 처리.
– CPU나 GPU 대비 전력 효율이 높고, 모바일·엣지 디바이스에 적합.
– 온디바이스 AI 추론 속도를 높여 지연(latency)을 줄이고, 네트워크 연결 없이도 실시간 처리 가능.

ㅇ 적합한 경우:
– 스마트폰, IoT 기기 등 전력 제약이 있는 환경에서 AI 모델 추론 수행.
– 이미지 분류, 음성 인식, 객체 탐지 등 실시간 응답이 필요한 애플리케이션.
– 클라우드 의존도를 줄이고 개인정보 보호가 중요한 경우.

ㅇ 시험 함정:
– GPU와 혼동하여 ‘그래픽 처리 전용’으로만 설명하는 경우 오답.
– NPU를 학습(Training) 전용으로만 사용하는 것으로 잘못 기술하는 경우.
– TPU와 NPU의 용도 및 제작사 차이를 혼동하는 문제.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “NPU는 AI 추론 연산에 특화된 전용 하드웨어로, 전력 효율이 높다.”
– X: “NPU는 주로 3D 그래픽 렌더링을 위한 장치이다.”
– O: “NPU는 모바일 디바이스에서 실시간 AI 연산을 가능하게 한다.”
– X: “NPU는 대규모 AI 학습만을 위한 클라우드 전용 장치이다.”

ㅁ 추가 학습 내용

NPU는 주로 추론(Inference)에 최적화되어 있으나, 일부 최신 NPU는 경량 학습(Fine-tuning)도 지원한다.
시험에서는 NPU, GPU, TPU의 차이를 비교하는 문제가 자주 출제되므로, 각 하드웨어의 주요 용도, 전력 효율, 지원 연산 특성을 표로 정리해두는 것이 효과적이다.

NPU 내부 구조의 핵심 요소
– 행렬 연산 유닛: 대규모 병렬 연산 수행
– 온칩 메모리: 데이터 접근 지연 최소화, 외부 메모리 의존도 감소
– 데이터 흐름 구조: 연산과 데이터 이동 최적화로 처리 효율 향상

메모리 대역폭 최적화 방식
– 연산에 필요한 데이터를 온칩에서 재사용
– 데이터 이동 경로 단축
– 병렬 데이터 처리 구조 활용

주요 제조사별 NPU 브랜드명
– Apple: Apple Neural Engine
– Qualcomm: Hexagon DSP 기반 AI Engine
– ARM: ARM Ethos 시리즈

이러한 내용을 숙지하면 NPU 관련 비교·응용 문제에 효과적으로 대비할 수 있다.