ㅁ 배포 전략

ㅇ 정의: 머신러닝 모델을 실제 환경에 배포하여 사용자 요청에 실시간으로 응답하는 전략.

ㅇ 특징: 주로 REST API 또는 gRPC를 통해 모델을 호출하며, 고가용성과 낮은 지연 시간이 핵심 요구사항임.

ㅇ 적합한 경우: 사용자 요청에 대한 즉각적인 응답이 필요한 애플리케이션(예: 추천 시스템, 음성 인식).

ㅇ 시험 함정: 배포 환경에서의 성능 최적화와 모델 업데이트 시의 다운타임 관리.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Online Inference는 실시간 예측을 제공한다.
– X: Online Inference는 배치 처리 방식이다.

================================

1. Online Inference

ㅇ 정의: 머신러닝 모델이 실시간으로 데이터를 처리하여 예측 결과를 반환하는 방식.

ㅇ 특징: API 호출을 통해 모델이 직접 예측을 수행하며, 요청-응답의 지연 시간이 짧아야 함.

ㅇ 적합한 경우: 실시간 데이터 분석이 필요한 경우(예: 금융 거래 감지, 실시간 번역).

ㅇ 시험 함정: 모델의 응답 속도와 정확도를 동시에 고려해야 하며, 배포 환경의 네트워크 병목 가능성.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Online Inference는 REST API를 통해 구현될 수 있다.
– X: Online Inference는 오프라인 데이터만 처리한다.

ㅁ 추가 학습 내용

Online Inference와 관련하여 추가적으로 학습해야 할 중요한 개념은 다음과 같습니다:

1. **캐싱 전략**:
– 반복적으로 발생하는 요청에서 동일한 데이터를 제공해야 할 경우, 캐싱을 활용하여 응답 시간을 단축하는 방법.
– 캐싱의 주요 유형(예: 메모리 캐시, 디스크 캐시)과 적절한 캐싱 정책(예: TTL(Time-to-Live), LRU(Least Recently Used)).
– 캐싱이 시스템 성능에 미치는 영향과 캐싱을 적용할 때의 주의사항(예: 데이터 최신성 문제).

2. **A/B 테스트**:
– 실시간 배포 환경에서 새로운 모델 버전을 기존 모델과 비교하여 성능을 평가하는 기법.
– A/B 테스트의 구성 요소(예: 사용자 그룹 분리, 메트릭 정의, 결과 분석).
– 테스트 결과를 기반으로 모델을 선택하거나 조정하는 과정.

3. **장애 복구 전략**:
– 실시간 배포 환경에서 발생할 수 있는 장애를 신속히 복구하기 위한 방안.
– 주요 장애 유형(예: 네트워크 장애, 서버 다운)과 각각에 대한 복구 방법.
– 자동화된 장애 대응 시스템(예: 헬스 체크, 재시도 메커니즘)과 장애 복구 계획의 중요성.

4. **스케일링**:
– 트래픽 증가에 따라 시스템을 확장하는 방법.
– 수평적 확장(horizontal scaling): 서버를 추가하여 트래픽을 분산 처리하는 방식.
– 수직적 확장(vertical scaling): 기존 서버의 성능을 향상시키는 방식.
– 각 방식의 장단점과 선택 기준.

5. **보안**:
– 실시간 데이터 처리 환경에서 데이터 유출을 방지하고 인증 메커니즘을 적용하는 방법.
– 데이터 암호화, 접근 제어, 사용자 인증 및 권한 관리의 중요성.
– 실시간 시스템에서 발생할 수 있는 주요 보안 위협(예: 데이터 스니핑, DDoS 공격)과 이에 대한 대응 전략.