ㅁ 배포 아키텍처

ㅇ 정의:
– 배포 아키텍처는 AI 모델을 실제 서비스 환경에 배포하고 운영하기 위한 구조적 설계 방식입니다. 이는 모델의 성능, 확장성, 안정성을 보장하는 데 중요한 역할을 합니다.

ㅇ 특징:
– 다양한 배포 방식(예: 클라우드, 온프레미스 등)을 지원하며, 요구 사항에 맞는 유연한 설계가 가능합니다.
– 실시간 서비스 제공을 위한 빠른 응답 시간과 고가용성을 보장합니다.

ㅇ 적합한 경우:
– 대규모 사용자를 대상으로 AI 서비스를 제공할 때.
– 모델 업데이트 및 유지보수가 빈번히 이루어지는 환경.

ㅇ 시험 함정:
– 배포 아키텍처의 구성 요소(예: API Gateway, Load Balancer 등)를 혼동하거나, 구체적인 적용 사례를 묻는 문제에서 실수를 유발할 수 있습니다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 배포 아키텍처는 모델의 성능과 확장성을 보장하는 데 중요한 역할을 한다.
– X: 배포 아키텍처는 항상 클라우드 환경에서만 구현된다.

================================

1. Model-as-service

ㅇ 정의:
– Model-as-service는 AI 모델을 API 형태로 제공하여 다른 애플리케이션에서 쉽게 호출할 수 있도록 하는 배포 방식입니다.

ㅇ 특징:
– 모델 호출 시 REST API 또는 gRPC와 같은 표준 프로토콜을 활용합니다.
– 실시간 요청/응답 구조를 기반으로 하며, 낮은 지연 시간과 높은 처리량을 목표로 합니다.

ㅇ 적합한 경우:
– 실시간 데이터 처리 및 응답이 필요한 서비스.
– 다양한 클라이언트(웹, 모바일 등)에서 AI 모델을 활용해야 하는 경우.

ㅇ 시험 함정:
– Model-as-service를 Batch Processing 방식과 혼동할 수 있습니다.
– API 호출 과정에서 인증/인가와 같은 보안 요소를 간과하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Model-as-service는 실시간 요청/응답 구조를 기반으로 한다.
– X: Model-as-service는 데이터 배치를 처리하는 데 적합하다.

ㅁ 추가 학습 내용

Model-as-service와 관련된 추가 학습 내용은 다음과 같이 정리할 수 있습니다:

1. **모델 버전 관리**:
– 모델 버전 관리는 새로운 모델을 배포하거나 기존 모델을 업데이트할 때 발생할 수 있는 문제를 최소화하기 위해 중요한 절차입니다. 이를 통해 모델의 변경 사항을 추적하고, 필요 시 이전 버전으로 롤백할 수 있습니다.
– 버전 관리는 일반적으로 명확한 버전 번호 체계를 사용하며, 모델의 학습 데이터, 하이퍼파라미터, 아키텍처 등의 변경 사항을 기록합니다.

2. **롤백 전략**:
– 롤백은 새롭게 배포된 모델이 예상치 못한 오류를 발생시키거나 성능이 저하될 경우, 이전 버전으로 되돌리는 과정입니다.
– 롤백 전략은 신속하고 안전하게 수행되어야 하며, 이를 위해 이전 모델과 관련된 리소스가 보존되어야 합니다.

3. **Canary Deployment**:
– Canary Deployment는 새로운 모델을 전체 시스템에 배포하기 전에 제한된 수의 사용자에게만 제공하여 성능을 테스트하는 방법입니다.
– 이를 통해 초기 사용자 그룹에서 발생하는 문제를 확인하고, 문제가 없을 경우 전체 시스템으로 확장할 수 있습니다.
– 장점: 위험을 최소화하고 문제를 사전에 감지 가능.

4. **Blue-Green Deployment**:
– Blue-Green Deployment는 두 개의 환경을 사용하는 배포 전략입니다. Blue 환경은 현재 운영 중인 모델을 실행하고, Green 환경은 새로운 모델을 실행합니다.
– 새로운 모델이 Green 환경에서 성공적으로 테스트되면, 트래픽을 Blue 환경에서 Green 환경으로 전환합니다.
– 장점: 배포 중 다운타임을 최소화하고 신속한 롤백이 가능.

5. **Rate Limiting**:
– Rate Limiting은 모델 호출에 대한 요청 수를 제한하여 시스템 과부하를 방지하는 기법입니다.
– 특정 시간 동안 허용되는 요청 수를 설정함으로써 과도한 트래픽으로 인한 성능 저하를 방지합니다.
– 일반적으로 API Gateway나 Load Balancer에서 구현됩니다.

6. **Circuit Breaker**:
– Circuit Breaker는 시스템의 안정성을 보장하기 위해 사용되는 보호 메커니즘입니다.
– 모델 호출이 실패하거나 지연이 발생할 경우, 추가 요청을 차단하여 시스템이 더 큰 문제를 겪는 것을 방지합니다.
– Circuit Breaker는 일정 시간이 지나면 다시 열려 요청을 허용하며, 시스템이 복구되었는지 확인합니다.

위 내용을 통해 Model-as-service에서 안정성과 효율성을 높이는 다양한 전략과 기법을 학습할 수 있습니다.