ㅁ 응용 분야

ㅇ 정의:
실시간 추론은 AI 모델이 입력 데이터를 받아 즉시(수 밀리초~수 초 이내) 결과를 도출하는 과정으로, 사전 학습된 모델을 엣지 디바이스나 서버에서 즉각적으로 실행하는 것을 의미함.

ㅇ 특징:
– 지연(latency)이 매우 낮아야 함(일반적으로 100ms 이하 목표)
– 연속적인 데이터 스트림 처리 가능(예: 영상 프레임, 센서 데이터)
– 엣지 컴퓨팅 환경에서 네트워크 의존성을 최소화
– 경량화된 모델과 최적화된 추론 엔진 사용(TensorRT, OpenVINO 등)

ㅇ 적합한 경우:
– 자율주행 차량의 객체 인식
– CCTV 기반 실시간 이상행동 감지
– 제조 라인의 불량품 실시간 검출
– 드론의 비행 중 장애물 회피

ㅇ 시험 함정:
– 실시간 추론은 반드시 엣지에서만 수행된다고 단정하면 오답(O)
– 실시간 추론은 학습(training) 속도와 직접적인 관련이 없다는 점을 혼동하기 쉬움
– ‘실시간’은 절대시간이 아니라 응용 요구사항에 맞춘 허용 지연임

ㅇ 시험 대비 “패턴 보기” 예시:
– “실시간 추론은 네트워크 연결이 필수적이다” → X
– “실시간 추론은 입력 데이터 처리 후 즉시 결과를 제공하는 것을 목표로 한다” → O
– “실시간 추론은 반드시 GPU를 사용해야 한다” → X
– “실시간 추론은 모델 경량화 및 최적화 기법이 중요하다” → O

ㅁ 추가 학습 내용

실시간 추론에서는 지연 시간(Latency)과 처리량(Throughput)의 차이를 명확히 구분해야 한다. 낮은 지연 시간은 실시간성 확보에 필수적이며, 처리량은 시스템이 동시에 처리할 수 있는 작업 수와 관련된다. 엣지 AI 환경에서는 전력 소비, 메모리 사용량, 발열 관리가 중요한 제약 조건이 될 수 있다. 이를 해결하기 위해 모델 경량화 기법인 양자화, 프루닝, 지식 증류를 활용하며, 하드웨어 가속기인 NPU, TPU, FPGA의 특성을 이해하는 것이 필요하다. 또한 실시간 추론과 배치 추론의 차이를 파악하고, 스트리밍 데이터 처리 프레임워크(Kafka, MQTT 등)와의 연계 방법, 네트워크 지연이 성능에 미치는 영향도 이해해야 한다.