ㅁ 운영 전략

ㅇ 정의:
MLOps에서 모델의 성능을 지속적으로 평가하고 개선하기 위한 서비스 형태의 접근 방식.

ㅇ 특징:
– 클라우드 기반으로 제공되는 경우가 많음.
– 모델 평가를 자동화하여 개발자와 운영 팀의 효율성을 높임.
– 데이터 드리프트와 모델 성능 저하를 실시간으로 감지 가능.

ㅇ 적합한 경우:
– 다양한 모델을 동시에 운영하며 성능을 모니터링해야 하는 경우.
– 모델 평가 작업을 자동화하여 인적 자원을 절약하고자 할 때.

ㅇ 시험 함정:
– Model Evaluation-as-a-Service가 모델 학습을 포함한다고 혼동할 수 있음.
– 데이터 드리프트와 모델 성능 저하의 개념을 혼동할 위험.

ㅇ 시험 대비 “패턴 보기” 예시:
1. Model Evaluation-as-a-Service는 모델의 학습을 포함한다. (X)
2. Model Evaluation-as-a-Service는 모델 성능을 지속적으로 평가하는 서비스이다. (O)
3. 데이터 드리프트를 감지하는 것은 Model Evaluation-as-a-Service의 주요 기능 중 하나이다. (O)
4. Model Evaluation-as-a-Service는 반드시 온프레미스 환경에서만 구현 가능하다. (X)

ㅁ 추가 학습 내용

Model Evaluation-as-a-Service와 관련된 주요 기술 스택과 데이터 드리프트 감지의 구체적인 방법론을 학습하기 위해 다음과 같이 정리할 수 있습니다:

1. Model Evaluation-as-a-Service 관련 주요 기술 스택:
– MLflow: 머신러닝 모델의 실험 관리와 모델 추적, 등록, 배포를 지원하는 오픈소스 플랫폼. 모델 평가 및 성능 비교를 체계적으로 관리할 수 있음.
– TensorBoard: 텐서플로우 생태계에서 제공하는 시각화 도구로, 모델 학습 과정 및 평가 지표를 실시간으로 모니터링 가능.
– Amazon SageMaker: AWS에서 제공하는 머신러닝 서비스로, 모델 학습, 평가, 배포를 통합적으로 지원하며 내장된 평가 도구를 통해 모델 성능을 분석할 수 있음.
– Weights & Biases (W&B): 실험 추적, 모델 평가, 하이퍼파라미터 튜닝 등 머신러닝 워크플로우를 관리하는 클라우드 기반 도구.
– Neptune.ai: 모델 실험 및 평가 결과를 기록하고 시각화하는 플랫폼으로, 협업 및 반복적인 모델 개선 작업에 유용.
– Azure Machine Learning: 마이크로소프트의 클라우드 기반 머신러닝 플랫폼으로, 모델 평가 및 배포와 함께 다양한 통합 도구를 제공.

2. 데이터 드리프트 감지의 구체적인 방법론:
– 통계적 테스트:
– Kolmogorov-Smirnov 테스트: 두 데이터 분포 간의 차이를 측정하여 데이터 드리프트를 감지.
– Chi-square 테스트: 범주형 데이터의 분포 변화를 분석.
– Jensen-Shannon 다이버전스: 두 확률 분포 간의 유사성을 측정하여 드리프트를 판단.
– 특성 중요도 변화 감지:
– 모델 기반 접근법: 기존 모델에서 계산된 특성 중요도를 새로운 데이터셋과 비교하여 변화 여부를 분석.
– SHAP(Shapley Additive Explanations) 값 비교: 데이터 샘플에 대한 특성 기여도의 변화를 추적.
– 데이터 분포 시각화:
– 히스토그램, KDE(Kernel Density Estimation) 플롯 등을 활용하여 시각적으로 분포 변화를 탐지.
– 클러스터링 기반 방법:
– 데이터 클러스터링 결과를 비교하여 군집 구조의 변화를 확인.
– PCA(Principal Component Analysis) 비교:
– 주성분 분석을 통해 데이터의 주요 패턴 변화를 감지.
– Drift Detection Algorithms:
– ADWIN(Adaptive Windowing): 데이터 스트림에서 점진적인 변화 탐지.
– DDM(Drift Detection Method): 분류기의 오류율 변화를 기반으로 드리프트를 감지.

위의 내용을 바탕으로 관련 기술 스택과 방법론을 체계적으로 학습하면 Model Evaluation-as-a-Service와 데이터 드리프트 감지에 대한 이해도를 높일 수 있습니다.