ㅁ 파이프라인 및 자동화

1. Seldon Core

ㅇ 정의:
쿠버네티스(Kubernetes) 환경에서 머신러닝 모델을 대규모로 배포, 관리, 모니터링할 수 있도록 지원하는 오픈소스 MLOps 프레임워크.

ㅇ 특징:
– 다중 언어 모델 배포 지원(Python, Java, R 등)
– REST/gRPC API 자동 생성
– A/B 테스트, Canary 배포, 롤백 등 전략적 배포 기능 제공
– Prometheus, Grafana 연동을 통한 모니터링 및 로깅 지원
– 모델 버전 관리 및 실험 추적 기능

ㅇ 적합한 경우:
– 다수의 모델을 동시에 운영하며, 자동화된 배포 및 모니터링이 필요한 경우
– 마이크로서비스 아키텍처 기반의 ML 서비스 운영 환경
– 모델 성능 비교 실험(A/B 테스트) 및 점진적 배포가 필요한 경우

ㅇ 시험 함정:
– Seldon Core는 모델 학습을 담당하지 않고, 배포 및 서빙에 특화됨 → 학습 파이프라인과 혼동 주의
– 쿠버네티스 환경이 필수적이며, Docker만으로 단독 운영 불가
– REST API만 지원한다고 오답 유도 가능 (gRPC도 지원)

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Seldon Core는 쿠버네티스에서 ML 모델을 대규모로 배포하고 모니터링할 수 있는 오픈소스다.”
O: “Seldon Core는 A/B 테스트와 Canary 배포를 지원한다.”
X: “Seldon Core는 모델 학습과 배포를 모두 담당하는 프레임워크다.”
X: “Seldon Core는 Docker 환경에서만 동작하며 gRPC를 지원하지 않는다.”

ㅁ 추가 학습 내용

Seldon Core는 오픈소스 모델 서빙 프레임워크로, 쿠버네티스 환경에서 머신러닝 모델을 배포·관리할 수 있다.
Seldon Deploy는 Seldon Core의 상용 버전으로, GUI 기반 관리, 모니터링, 접근 제어 등 기업 환경에 필요한 추가 기능을 제공한다.
KFServing(KServe) 등 다른 모델 서빙 솔루션과 비교 시, 지원하는 프로토콜, 배포 전략, 아키텍처 구성, 확장성, 모니터링 기능 등이 주요 비교 포인트가 된다.

시험에서는 Seldon Core의 기능 범위, 모델 학습 가능 여부(모델 학습 기능은 없고 서빙에 특화), 지원 프로토콜(REST, gRPC), 배포 전략(A/B 테스트, Canary 배포) 등 세부 기능을 혼동시키는 문제가 출제될 수 있다.
Seldon Core는 쿠버네티스 CRD(Custom Resource Definition)를 사용해 모델을 정의하고 배포한다.
또한 Istio나 Ingress Gateway와 연계하여 외부 접근 제어가 가능하다.