ㅁ 파이프라인 및 자동화

ㅇ 정의:
– AI/ML 모델의 배포와 관리를 자동화하고, 예측 서비스의 확장성과 안정성을 제공하는 기술.

ㅇ 특징:
– 컨테이너 기반으로 작동하며, 쿠버네티스 환경에서 머신러닝 모델을 배포 및 관리.
– REST 및 gRPC 인터페이스를 통해 모델 서비스 제공.
– 모델 모니터링, A/B 테스트, Canary 배포 등 다양한 기능 지원.

ㅇ 적합한 경우:
– 대규모 ML 모델 배포와 관리가 필요한 경우.
– 실시간 예측 서비스와 안정적인 운영이 요구되는 환경.

ㅇ 시험 함정:
– Seldon Core의 주요 특징과 기능을 다른 ML 배포 프레임워크와 혼동하는 문제.
– 쿠버네티스와의 통합 방식에 대한 오해.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Seldon Core는 쿠버네티스 기반에서 작동하며, A/B 테스트 기능을 지원한다.
– X: Seldon Core는 온프레미스 환경에서만 작동하며, 배포 자동화 기능이 없다.

1. Seldon Core

ㅇ 정의:
– 오픈소스 머신러닝 배포 프레임워크로, 쿠버네티스 환경에서 모델 배포 및 관리를 지원.

ㅇ 특징:
– 다중 모델 배포 및 라우팅 지원.
– 모델 성능 추적 및 모니터링 가능.
– 다양한 언어와 프레임워크로 개발된 모델과 호환.

ㅇ 적합한 경우:
– 지속적인 모델 업데이트가 필요한 환경.
– 다양한 실험과 테스트가 병행되는 프로젝트.

ㅇ 시험 함정:
– REST와 gRPC 지원 여부를 혼동.
– 모델 모니터링 기능을 과소평가하거나 간과.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Seldon Core는 다중 모델 배포를 지원하며, REST 및 gRPC 인터페이스를 제공한다.
– X: Seldon Core는 단일 모델 배포만 가능하며, 모니터링 기능이 없다.

ㅁ 추가 학습 내용

Seldon Core와 관련하여 학습해야 할 내용을 아래와 같이 정리하였습니다.

1) Seldon Core의 A/B 테스트와 Canary 배포 방식의 구체적인 구현 사례
– A/B 테스트와 Canary 배포의 개념 및 차이점 이해.
– Seldon Core에서 A/B 테스트를 구성하는 방법: 트래픽 분배, 모델 버전 관리, 실험 결과 분석.
– Canary 배포 방식 구현: 점진적 트래픽 전환, 성능 모니터링, 실패 시 롤백 절차.
– 실제 사례를 통해 A/B 테스트와 Canary 배포가 어떻게 적용되는지 학습.

2) Seldon Core와 다른 MLOps 프레임워크(예: Kubeflow, MLflow)와의 차이점 및 통합 가능성
– Seldon Core의 주요 기능과 특징: 모델 서빙, 확장성, 프로덕션 환경 지원.
– Kubeflow와 MLflow의 주요 기능 비교: 워크플로우 관리, 실험 추적, 모델 서빙.
– Seldon Core와 Kubeflow/MLflow의 통합 가능성: 워크플로우 연계, 모델 추적 및 배포 협업.
– 각 프레임워크의 사용 목적과 적합한 활용 사례 분석.

3) Seldon Core에서 제공하는 보안 기능(예: 인증 및 인가)과 그 활용 방법
– Seldon Core의 기본 보안 메커니즘 이해: TLS 암호화, JWT(Json Web Token) 인증.
– 인증(Authentication)과 인가(Authorization)의 차이점과 구현 방법.
– Seldon Core의 보안 설정 구성: Helm 차트를 활용한 인증/인가 활성화.
– 보안 기능 활용 사례 및 쿠버네티스 네트워크 정책과의 연계.

4) 실제 쿠버네티스 환경에서 Seldon Core를 설치하고 운영하는 과정에서 발생할 수 있는 문제와 해결 방법
– Seldon Core 설치 과정 이해: Helm 차트 사용, 네임스페이스 및 리소스 설정.
– 운영 중 발생할 수 있는 일반적인 문제: 리소스 부족, 네트워크 연결 문제, 모델 배포 실패.
– 문제 해결 방법: 로그 분석, 디버깅 툴 사용, 쿠버네티스 리소스 상태 점검.
– 운영 환경 최적화 방안: 오토스케일링 설정, 모니터링 도구 활용, CI/CD 파이프라인 구축.