ㅁ 하드웨어 혁신

ㅇ 정의:
AI 연산을 가속하기 위해 설계된 특수 목적 하드웨어로, CPU나 GPU보다 특정 AI 연산(행렬 연산, 텐서 연산 등)에 최적화된 장치를 의미함.

ㅇ 특징:
– 병렬 연산 처리에 강점이 있으며, 전력 대비 연산 효율이 높음
– FPGA, ASIC, TPU 등 다양한 형태로 구현됨
– 대규모 AI 모델 학습 및 추론 속도를 획기적으로 향상

ㅇ 적합한 경우:
– 대규모 딥러닝 학습 환경
– 실시간 추론이 필요한 엣지 디바이스
– 전력 제약이 있는 환경에서 고성능 연산이 필요한 경우

ㅇ 시험 함정:
– GPU와 AI Accelerator의 차이를 혼동하는 문제
– 범용 CPU도 AI 연산 가능하지만 효율성의 차이를 묻는 문제
– FPGA와 ASIC의 특성 비교 문제에서 용도와 유연성 차이를 혼동

ㅇ 시험 대비 “패턴 보기” 예시:
O: AI Accelerator는 특정 AI 연산에 최적화된 하드웨어로, GPU보다 전력 효율이 높을 수 있다.
X: AI Accelerator는 모든 범용 연산에서 CPU보다 항상 빠르다.

ㅁ 추가 학습 내용

AI Accelerator에는 Google TPU, NVIDIA Tensor Core, Habana Gaudi, Graphcore IPU 등이 있으며, 각각 다른 아키텍처와 최적화 대상을 가짐.
FPGA는 유연성이 높고 재구성이 가능하며, ASIC은 고정 기능으로 효율을 극대화함. 시험에서는 FPGA와 ASIC의 차이를 묻는 경우가 많음.
AI Accelerator 성능에는 데이터 전송 병목(I/O bottleneck)과 메모리 대역폭 한계가 큰 영향을 미침.
최근에는 엣지 AI용 초저전력 NPU(Neural Processing Unit)가 주목받고 있으며, 모바일 기기와 IoT 디바이스에 내장되는 추세임.
시험에서는 특정 연산 최적화와 범용성의 트레이드오프를 구분하는 문제가 자주 출제됨.