ㅁ 인프라 및 자동화

ㅇ 정의:
Kubernetes Operators for ML은 머신러닝 워크로드를 Kubernetes 환경에서 자동으로 배포, 운영, 관리하기 위해 Custom Resource Definition(CRD)과 Operator 패턴을 활용하는 기술이다. Kubeflow, MLflow Operator 등이 대표적이다.

ㅇ 특징:
– ML 모델 학습, 배포, 모니터링을 Kubernetes 네이티브 방식으로 처리
– 반복적인 ML 파이프라인 작업을 코드로 정의하여 자동화
– 확장성 및 재현성 보장
– 선언적 구성(Declarative Configuration) 기반 관리

ㅇ 적합한 경우:
– 대규모 ML 모델을 컨테이너 기반으로 배포해야 하는 경우
– 다양한 환경(개발, 스테이징, 운영)에서 동일한 ML 워크로드를 재현해야 하는 경우
– MLOps 파이프라인을 Kubernetes 클러스터에 통합하고자 하는 경우

ㅇ 시험 함정:
– Kubernetes Operators는 단순한 스크립트 자동화가 아니라, Kubernetes API와 연동된 지속적인 상태 관리 기능을 수행함
– CRD와 Controller의 차이를 혼동하는 경우가 많음
– ML 전용 Operator와 일반 애플리케이션 Operator의 차이를 구분해야 함

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Kubeflow Training Operator는 Kubernetes CRD를 이용하여 분산 학습을 자동화한다.”
X: “Kubernetes Operator는 모델 학습 중 리소스 스케일링을 수동으로만 지원한다.”

ㅁ 추가 학습 내용

Kubernetes Operators for ML과 Helm Chart, Kustomize 비교
– Operators: Kubernetes의 CRD와 Controller를 활용하여 애플리케이션의 배포, 운영, 상태 관리를 자동화하는 방식. 복잡한 상태 관리와 운영 로직을 코드로 구현 가능.
– Helm Chart: Kubernetes 리소스를 패키징하여 배포하는 템플릿 도구. 변수 설정을 통해 손쉽게 배포 가능하지만, 상태 관리나 복잡한 운영 로직은 포함하지 않음.
– Kustomize: Kubernetes 매니페스트를 오버레이 방식으로 커스터마이징하는 도구. 템플릿 언어 없이 YAML을 조합하여 환경별 설정을 관리.

대표적인 ML Operator와 사용 사례
– Kubeflow: 머신러닝 워크플로우 전체를 Kubernetes에서 실행·관리하는 플랫폼. 파이프라인, 학습, 서빙까지 지원.
– Seldon Core: 모델 서빙에 특화된 Operator. 다양한 ML 프레임워크 모델을 Kubernetes에서 확장 가능하게 배포.
– MLflow Operator: MLflow Tracking, Projects, Models를 Kubernetes 환경에서 손쉽게 배포·운영하도록 지원.

CRD 작성 방법
– CustomResourceDefinition을 정의하여 Kubernetes API를 확장. API 그룹, 버전, 스키마, 스코프, 리소스 이름 등을 명시.

Controller 동작 방식
– Kubernetes API 서버의 변경 사항을 감시하고, 원하는 상태(Desired State)와 현재 상태(Current State)를 비교하여 조치.

Reconciliation Loop 개념
– Controller가 지속적으로 현재 상태를 확인하고, 원하는 상태와 일치하도록 반복적으로 조정하는 루프 구조.

Kubernetes 네이티브 MLOps 아키텍처 예시
– 데이터 준비(Job, Spark Operator) → 모델 학습(TFJob, MPIJob) → 모델 저장(Artifact Store) → 모델 서빙(Serving Operator, Seldon Core) → 모니터링(Prometheus, Grafana)

ML 특화 기능을 Operator로 구현하는 사례
– GPU 스케줄링: GPU 리소스를 요청하는 Pod 스케줄링 및 할당을 자동화하는 Operator 구현.
– 분산 학습: MPIJob, TFJob Operator를 통해 여러 노드에 걸친 병렬 학습 관리.
– 모델 서빙: Serving Operator(Seldon Core, KFServing 등)를 사용하여 모델 배포, 롤링 업데이트, A/B 테스트 자동화.