도구와 전략: Model Monitoring
ㅁ 도구와 전략
ㅇ 정의:
– 도구와 전략은 시스템 운영 및 성능 최적화를 위해 활용되는 다양한 기술적 접근과 도구를 의미한다.
ㅇ 특징:
– 효율적인 운영 및 성능 개선을 위해 자동화된 방식으로 문제를 해결하거나 예방한다.
ㅇ 적합한 경우:
– 대규모 시스템 관리가 필요한 경우.
– 반복적인 작업이 많은 환경.
– 성능 병목 현상을 사전에 탐지하고 해결해야 하는 경우.
ㅇ 시험 함정:
– 도구와 전략의 적용 가능 범위와 한계를 혼동하는 경우.
ㅇ 시험 대비 “패턴 보기” 예시:
– O: 도구와 전략은 운영 효율성을 높이기 위한 필수적 요소이다.
– X: 도구와 전략은 모든 시스템 문제를 자동으로 해결한다.
================================
1. Model Monitoring
ㅇ 정의:
– Model Monitoring은 머신러닝 모델의 성능 및 정확도를 지속적으로 추적하고 평가하는 과정을 의미한다.
ㅇ 특징:
– 배포된 모델의 예측 결과를 실시간으로 감시하여 이상 징후를 탐지한다.
– 데이터 분포의 변화(데이터 드리프트) 및 모델 성능 저하를 감지한다.
ㅇ 적합한 경우:
– 모델이 실시간 의사결정에 사용되는 경우.
– 데이터 입력 분포가 시간이 지남에 따라 변화할 가능성이 있는 경우.
– 모델 재학습 주기를 결정해야 하는 경우.
ㅇ 시험 함정:
– Model Monitoring이 단순히 로그를 저장하는 과정으로 오해할 수 있다.
– 데이터 드리프트와 개념 드리프트의 차이를 명확히 이해하지 못하는 경우.
ㅇ 시험 대비 “패턴 보기” 예시:
– O: Model Monitoring은 데이터 드리프트를 감지하여 모델 성능 저하를 예방하는 데 활용된다.
– X: Model Monitoring은 모델 재학습 과정을 자동으로 수행한다.
ㅁ 추가 학습 내용
Model Monitoring에서 데이터 드리프트와 개념 드리프트의 차이는 다음과 같습니다:
1. 데이터 드리프트:
– 정의: 입력 데이터의 분포가 시간에 따라 변화하는 현상.
– 예시: 모델이 학습된 데이터는 특정 지역의 날씨 데이터였는데, 이후 다른 지역의 날씨 데이터가 입력되면서 분포가 달라지는 경우.
– 영향: 입력 데이터의 변화로 인해 모델의 예측 성능이 저하될 가능성이 있음.
– 모니터링 방법: 입력 데이터의 통계적 특성(평균, 분산 등)이나 분포를 지속적으로 분석.
2. 개념 드리프트:
– 정의: 입력 데이터와 출력 라벨 간의 관계가 변하는 현상.
– 예시: 고객의 구매 패턴이 계절에 따라 달라져, 동일한 입력 데이터에 대해 다른 출력 결과가 필요해지는 경우.
– 영향: 모델이 학습한 관계가 더 이상 유효하지 않아 예측 정확도가 떨어질 수 있음.
– 모니터링 방법: 모델의 예측 결과와 실제 라벨 간의 차이를 지속적으로 평가.
Model Monitoring 도구의 주요 사례와 특징은 다음과 같습니다:
1. Evidently AI:
– 특징: 데이터 드리프트, 성능 드리프트, 데이터 품질 문제 등을 시각화하고 알림을 제공.
– 사용 사례: 데이터의 변화 추적 및 문제 발생 시 조기 경고를 통해 모델 성능 유지.
2. MLflow:
– 특징: 모델의 실험 관리, 배포, 모니터링을 지원하는 종합적인 플랫폼.
– 사용 사례: 모델 버전 관리, 성능 추적 및 배포 후 모니터링.
3. Seldon Core:
– 특징: 머신러닝 모델의 배포 및 모니터링을 위한 오픈소스 플랫폼.
– 사용 사례: 배포된 모델의 실시간 성능 모니터링 및 데이터 드리프트 감지.
이 주제를 공부할 때는 데이터 드리프트와 개념 드리프트의 정의와 차이를 명확히 이해하고, 각 도구의 기능 및 실제 적용 사례를 구체적으로 학습하는 것이 중요합니다.