ㅁ 모델 모니터링

ㅇ 정의:
머신러닝 모델이 배포된 이후에도 지속적으로 성능을 평가하고, 데이터 드리프트나 모델 성능 저하를 감지하여 적절한 조치를 취하는 활동.

ㅇ 특징:
– 데이터 입력의 변화(데이터 드리프트)를 감지할 수 있음.
– 모델의 예측 정확도, 정밀도, 재현율 등 주요 평가 지표를 실시간으로 확인 가능.
– 이상 탐지와 경고 시스템을 통해 문제를 사전에 예방.

ㅇ 적합한 경우:
– 실시간 데이터가 지속적으로 입력되는 시스템.
– 모델 성능이 비즈니스 결과에 직접적인 영향을 미치는 경우.
– 데이터 특성이 시간에 따라 변화할 가능성이 높은 환경.

ㅇ 시험 함정:
– 모델 모니터링과 데이터 검증을 혼동하여 출제되는 경우가 많음.
– 성능 평가 지표를 단순히 수집하는 것과 이를 활용해 조치를 취하는 과정을 구분하지 못하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 모델 모니터링은 데이터 드리프트를 감지하여 성능 저하를 예방하는 데 사용된다.
– X: 모델 모니터링은 데이터 검증 단계에서만 사용된다.

================================

1. 성능 모니터링

ㅇ 정의:
배포된 머신러닝 모델의 성능을 주기적으로 평가하여, 모델이 의도된 성능을 유지하고 있는지 확인하는 활동.

ㅇ 특징:
– 주요 성능 지표(정확도, F1 점수 등)를 실시간으로 확인 가능.
– 데이터 입력과 모델 출력 간의 불일치를 탐지.
– 성능 저하 시 알림을 보내거나 자동으로 모델을 재학습하도록 설정 가능.

ㅇ 적합한 경우:
– 모델 성능이 일정 기준 이하로 떨어지면 비즈니스에 손실이 발생하는 경우.
– 데이터 입력이 다변화되거나 새로운 패턴이 자주 발생하는 환경.
– 모델의 결과를 기반으로 의사결정이 이루어지는 경우.

ㅇ 시험 함정:
– 성능 모니터링과 단순 로그 수집을 동일시하는 문제.
– 성능 모니터링이 모델 재학습을 포함하지 않는다고 오해하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 성능 모니터링은 모델의 주요 성능 지표를 주기적으로 평가한다.
– X: 성능 모니터링은 데이터 입력의 품질을 보장하는 활동이다.

ㅁ 추가 학습 내용

모델 모니터링에서 중요한 개념으로는 ‘데이터 드리프트’와 ‘개념 드리프트’가 있습니다.

데이터 드리프트는 입력 데이터의 분포가 시간이 지나면서 변하는 현상을 의미합니다. 예를 들어, 고객의 행동 패턴이 계절에 따라 달라지거나, 새로운 기술이 도입되어 데이터의 특성이 변화하는 경우가 이에 해당합니다. 데이터 드리프트는 모델의 성능에 영향을 줄 수 있으므로 이를 감지하고 대응하는 것이 중요합니다.

개념 드리프트는 입력 데이터와 출력 데이터 간의 관계가 변화하는 것을 의미합니다. 이는 모델이 학습한 규칙이나 패턴이 시간이 지나면서 유효하지 않게 되는 상황을 나타냅니다. 예를 들어, 소비자의 구매 결정 요인이 변화하거나, 금융 시장의 조건이 달라지는 경우가 개념 드리프트의 사례입니다. 개념 드리프트는 모델의 예측 정확도를 저하시킬 수 있으므로 지속적인 모니터링과 재학습이 필요합니다.

이 두 개념은 모델 모니터링에서 중요한 지표로 활용되며, 이를 감지하기 위해 다양한 기술과 툴이 사용됩니다. 자동화된 모니터링 시스템에서는 Prometheus, Grafana, MLflow와 같은 도구들이 활용됩니다. Prometheus는 시스템 성능 및 지표를 수집하고 시각화하는 데 사용되며, Grafana는 데이터를 시각적으로 표현하는 대시보드를 제공합니다. MLflow는 모델의 개발, 배포 및 모니터링을 위한 플랫폼으로, 모델의 성능 추적 및 관리에 유용합니다.

시험 대비를 위해 이들 개념과 툴의 기능, 사용 사례, 그리고 실제 적용 방법에 대해 이해하는 것이 중요합니다.