ㅁ 하드웨어/응용

1. Edge TPU

ㅇ 정의:
구글이 개발한 저전력 고성능 AI 추론 전용 ASIC 칩으로, 엣지 디바이스에서 머신러닝 모델을 빠르게 실행하도록 설계됨.

ㅇ 특징:
– TPU 아키텍처 기반, 초저전력(수백 mW 수준)으로 동작
– TensorFlow Lite 모델 최적화 지원
– 클라우드 연결 없이 로컬 추론 가능

ㅇ 적합한 경우:
– IoT 기기에서 실시간 이미지 분류, 객체 탐지
– 네트워크 지연이 허용되지 않는 환경

ㅇ 시험 함정:
– Edge TPU는 학습(Training)이 아니라 추론(Inference)에 최적화되어 있음
– GPU와 혼동하는 문제 출제 가능

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Edge TPU는 저전력 환경에서 추론을 수행하는 전용 칩이다.”
X: “Edge TPU는 대규모 데이터 학습에 최적화되어 있다.”

2. TinyML

ㅇ 정의:
마이크로컨트롤러(MCU) 수준의 초저전력 하드웨어에서 머신러닝 모델을 실행하는 기술 분야.

ㅇ 특징:
– 수십 KB~수 MB 메모리에서 동작
– 배터리 수명이 수개월~수년 가능
– TensorFlow Lite Micro, Edge Impulse 등 프레임워크 활용

ㅇ 적합한 경우:
– 웨어러블, 센서 네트워크, 농업·환경 모니터링

ㅇ 시험 함정:
– TinyML은 고성능 GPU 기반 학습과는 무관
– TinyML이 곧 마이크로서비스 아키텍처라는 오답 유도 가능

ㅇ 시험 대비 “패턴 보기” 예시:
O: “TinyML은 MCU 환경에서 머신러닝 모델을 실행하는 기술이다.”
X: “TinyML은 데이터센터 서버에서 대규모 학습을 수행한다.”

3. 지능형 엣지

ㅇ 정의:
데이터 생성 지점(엣지)에서 AI 모델을 실행하여 실시간 의사결정을 수행하는 시스템.

ㅇ 특징:
– 네트워크 지연 최소화
– 클라우드 의존도 감소
– 데이터 프라이버시 강화

ㅇ 적합한 경우:
– 제조업 품질 검사, 자율주행, 스마트 시티

ㅇ 시험 함정:
– 지능형 엣지는 단순 데이터 수집 장치가 아님
– 클라우드 AI와 지능형 엣지를 혼동하는 문제 출제 가능

ㅇ 시험 대비 “패턴 보기” 예시:
O: “지능형 엣지는 현장에서 AI 추론을 수행하여 지연을 줄인다.”
X: “지능형 엣지는 모든 처리를 클라우드에서 수행한다.”

4. ARM ML

ㅇ 정의:
ARM 아키텍처 기반 프로세서에서 머신러닝 연산을 최적화하는 기술 및 라이브러리 집합.

ㅇ 특징:
– ARM Compute Library, Ethos-N NPU 지원
– 모바일·임베디드 기기에서 효율적인 ML 연산
– 저전력·고효율 연산 구조

ㅇ 적합한 경우:
– 스마트폰, 임베디드 보드, 드론 등의 온디바이스 AI

ㅇ 시험 함정:
– ARM ML은 특정 모델만 지원한다고 오해하는 경우 존재
– ARM CPU와 GPU 구분 문제 출제 가능

ㅇ 시험 대비 “패턴 보기” 예시:
O: “ARM ML은 ARM 기반 기기에서 ML 연산을 최적화한다.”
X: “ARM ML은 x86 서버 전용 ML 가속 기술이다.”

ㅁ 추가 학습 내용

학습 정리

1. Edge TPU 및 관련 제품 라인업
– Google Coral 제품군: Coral Dev Board, USB Accelerator, PCIe Accelerator 등
– 호환 가능한 모델 형식: TensorFlow Lite int8 양자화 모델 필수
– Edge TPU의 특징: 초저전력, 고속 추론, int8 연산 최적화

2. TinyML 모델 경량화 및 메모리 최적화
– 양자화(Quantization): float32 → int8 변환으로 모델 크기 및 연산량 감소
– 프루닝(Pruning): 불필요한 가중치 제거로 파라미터 수 감소
– 지연 로딩(Lazy Loading): 필요한 시점에만 모델 또는 데이터 로드
– 메모리 최적화 전략: 버퍼 재사용, 메모리 풀링, 모델 분할 로드

3. 지능형 엣지 구현 시 고려사항
– 네트워크 불안정성: 오프라인 모드 지원, 로컬 추론
– 전력 제약: 저전력 하드웨어, 전력 관리 알고리즘
– 보안 업데이트: OTA(Over-The-Air) 업데이트, 암호화된 펌웨어 배포

4. ARM ML 관련 아키텍처 이해
– ARM Ethos 시리즈: NPU 기반, ML 추론 가속
– Cortex-M: 초저전력, 소형 ML 모델에 적합
– Cortex-A: 고성능, 복잡한 ML 모델 처리 가능
– 성능 차이: 연산 능력, 메모리 용량, 전력 소모에서 구분

5. 엣지 AI 학습과 추론, 클라우드 협업 구조
– 학습(Training): 대규모 데이터, 고성능 연산 필요 → 주로 클라우드에서 수행
– 추론(Inference): 학습된 모델로 예측 수행 → 엣지에서 실시간 처리
– Federated Learning: 데이터는 로컬에 두고 모델 업데이트만 공유하여 프라이버시와 네트워크 효율성 확보

6. 기술별 대표 적용 사례 및 벤더 매핑
– Google: Coral Dev Board, Edge TPU
– ARM: Cortex 시리즈, Ethos NPU
– NVIDIA: Jetson Nano, Xavier, Orin 시리즈
– 적용 사례: 스마트 카메라, IoT 센서, 산업용 로봇, 자율주행 보조 시스템

시험 대비 체크리스트

[ ] Edge TPU 제품 라인업과 지원 모델 형식 숙지
[ ] TensorFlow Lite int8 양자화 모델 특징과 변환 과정 이해
[ ] TinyML 경량화 기법(양자화, 프루닝, 지연 로딩) 정의와 장단점 설명 가능
[ ] 메모리 최적화 전략 사례 제시 가능
[ ] 지능형 엣지 구현 시 네트워크, 전력, 보안 고려사항 나열 가능
[ ] ARM Ethos, Cortex-M, Cortex-A의 ML 성능 차이 비교 가능
[ ] 학습과 추론의 차이와 각각의 실행 환경 설명 가능
[ ] Federated Learning 개념과 장점 설명 가능
[ ] 각 기술의 대표 적용 사례와 벤더 매핑 가능