ㅁ 기술/아키텍처

ㅇ 정의:
온디바이스 AI는 클라우드 서버가 아닌 사용자의 디바이스(스마트폰, IoT 기기, 엣지 디바이스 등)에서 AI 모델을 직접 실행하여 데이터 처리와 추론을 수행하는 기술.

ㅇ 특징:
– 네트워크 연결이 불안정하거나 없는 환경에서도 동작 가능
– 개인정보 보호 강화(데이터를 서버로 전송하지 않음)
– 지연 시간(latency) 감소 및 실시간 처리 가능
– 디바이스 성능 및 배터리 소모에 영향을 받음

ㅇ 적합한 경우:
– 실시간 반응이 필요한 애플리케이션(예: 음성 비서, AR/VR)
– 개인정보 유출 위험이 큰 데이터 처리(예: 헬스케어, 금융)
– 네트워크 환경이 제한적인 산업 현장, 오지 등

ㅇ 시험 함정:
– 온디바이스 AI는 항상 클라우드 AI보다 정확도가 높다고 단정하면 오답
– 모든 연산이 디바이스에서만 이루어진다고 생각하면 오답(하이브리드 구조 가능)
– 온디바이스 AI = 엣지 컴퓨팅이라고만 생각하는 것은 부분적으로만 맞음(엣지 컴퓨팅은 더 넓은 개념)

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 네트워크 연결이 불안정한 환경에서도 AI 추론이 가능하다.
– O: 개인정보 보호 측면에서 유리하다.
– X: 온디바이스 AI는 항상 클라우드 AI보다 연산 속도가 느리다.
– X: 온디바이스 AI는 반드시 인터넷 연결이 필요하다.

ㅁ 추가 학습 내용

온디바이스 AI 추가 학습 정리

1. 모델 경량화 기술
– 양자화(Quantization): 모델의 가중치와 연산을 정수형 등 저정밀도로 변환하여 메모리 사용량과 연산량을 줄이는 기법
– 프루닝(Pruning): 중요도가 낮은 뉴런이나 연결을 제거하여 모델 크기와 연산량을 감소시키는 기법
– 지식 증류(Knowledge Distillation): 큰 모델의 지식을 작은 모델로 이전하여 성능을 유지하면서 모델을 경량화하는 기법

2. 하드웨어 가속
– 모바일 NPU: 신경망 연산을 전용 하드웨어에서 가속 처리
– GPU: 병렬 연산을 활용한 AI 연산 가속
– DSP: 저전력 환경에서 신호 처리와 AI 연산을 효율적으로 수행

3. 배포 전략
– 클라우드 학습 후 디바이스 배포: 모델을 클라우드에서 학습시키고 완성된 모델을 디바이스에 전송
– OTA(Over-The-Air) 업데이트: 네트워크를 통해 디바이스에 설치된 모델을 원격으로 갱신

4. 보안 이슈
– 모델 도난 방지: 모델 파일이 무단 복제되는 것을 방지하는 기술
– 역공학 방지: 모델 암호화, 안전한 실행 환경(Secure Execution Environment) 등을 통한 보호

5. 대표 프레임워크
– TensorFlow Lite
– Core ML
– ONNX Runtime Mobile

6. 온디바이스 AI, 엣지 AI, 클라우드 AI 비교
– 응답 지연: 온디바이스 AI는 지연이 거의 없고, 엣지 AI는 짧음, 클라우드 AI는 네트워크 지연 발생 가능
– 데이터 전송 비용: 온디바이스 AI는 전송 비용 없음, 엣지 AI는 일부 발생, 클라우드 AI는 전송 비용 큼
– 보안성: 온디바이스 AI는 데이터가 디바이스 내에서 처리되어 보안성이 높음, 엣지 AI는 중간 수준, 클라우드 AI는 전송 과정에서 위험 가능
– 확장성: 클라우드 AI가 가장 뛰어나며, 엣지 AI는 중간, 온디바이스 AI는 디바이스 성능에 제한됨