ㅁ 배포 아키텍처

ㅇ 정의:
배포 아키텍처는 AI 모델을 실제 환경에서 운영하기 위해 필요한 시스템 구성 및 설계를 의미하며, 모델의 성능과 안정성을 보장하기 위한 핵심 요소이다.

ㅇ 특징:
– 모델의 배포 방식에 따라 다양한 아키텍처가 존재하며, 실시간 서빙, 배치 서빙 등으로 구분된다.
– 확장성과 안정성을 고려하여 설계되어야 하며, 클라우드 환경에서의 운영이 일반적이다.

ㅇ 적합한 경우:
– 대규모 사용자 요청을 처리해야 하는 환경에서 적합하다.
– 데이터 처리 속도가 중요한 실시간 응답 서비스에 적합하다.

ㅇ 시험 함정:
– 배포 아키텍처의 구성 요소를 제대로 이해하지 못하면 배포 방식의 장단점을 혼동할 수 있다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 배포 아키텍처는 AI 모델을 운영하기 위한 시스템 설계이다.
– X: 배포 아키텍처는 모델 학습 과정에서만 사용된다.

================================

1. Real-time Serving

ㅇ 정의:
Real-time Serving은 AI 모델이 사용자 요청에 즉각적으로 응답할 수 있도록 설계된 시스템을 의미한다.

ㅇ 특징:
– 낮은 지연 시간과 높은 처리량을 목표로 한다.
– API 기반으로 운영되며, 클라우드 또는 온프레미스 환경에서 실행된다.

ㅇ 적합한 경우:
– 실시간 데이터 분석이 필요한 서비스.
– 사용자 경험이 중요한 대화형 AI 서비스.

ㅇ 시험 함정:
– 실시간 서빙과 배치 처리의 차이를 혼동하여 시험 문제를 틀릴 수 있다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Real-time Serving은 낮은 지연 시간을 목표로 한다.
– X: Real-time Serving은 배치 처리 방식으로 운영된다.

================================

ㅁ 추가 학습 내용

Real-time Serving에 사용되는 주요 기술의 학습을 위해 다음과 같이 정리합니다.

1. 모델 최적화
– 원리: 모델 최적화는 머신러닝 모델의 크기와 계산량을 줄여 실시간 추론 속도를 높이는 과정입니다. 이를 위해 양자화(Quantization), 프루닝(Pruning), 지연 계산(Lazy Evaluation) 등의 기법이 활용됩니다.
– 활용 사례: 모바일 디바이스에서 딥러닝 모델을 구동하거나, 서버 자원을 절약하며 빠른 응답을 요구하는 애플리케이션에서 사용됩니다.

2. 캐싱 전략
– 원리: 캐싱은 자주 요청되는 데이터를 임시 저장소에 보관하여 동일한 요청에 대해 빠르게 응답하는 기술입니다. 주로 메모리 기반의 캐시 시스템(예: Redis, Memcached)을 사용합니다.
– 활용 사례: 사용자가 반복적으로 요청하는 데이터나, 모델 추론 결과를 캐시에 저장하여 실시간 서비스의 응답 속도를 높이는 데 적용됩니다.

3. 분산 처리 시스템
– 원리: 분산 처리 시스템은 여러 대의 서버가 협력하여 대규모 데이터를 처리하거나 요청을 분산 처리하는 기술입니다. 이를 통해 시스템의 확장성과 안정성을 높입니다.
– 활용 사례: Apache Kafka, Apache Spark, Kubernetes와 같은 분산 처리 시스템은 대규모 요청을 처리하거나 실시간 데이터 스트림을 관리하는 데 사용됩니다.

시험 대비를 위해 위 기술들의 원리와 주요 활용 사례를 구체적으로 이해하고, 필요하면 관련 도구의 기본 사용법도 익혀두는 것이 중요합니다.