ㅁ 도구와 전략

ㅇ 정의:
머신러닝 모델이 운영 환경에서 예측을 수행하는 동안 성능, 데이터 품질, 이상 징후 등을 지속적으로 관찰하고 분석하는 활동.

ㅇ 특징:
– 예측 정확도, 지연 시간, 리소스 사용량, 데이터 분포 변화 등을 실시간 또는 주기적으로 측정.
– 데이터 드리프트, 개념 드리프트를 조기 탐지하여 모델 재학습 시점을 판단.
– 로그, 메트릭, 알림 시스템과 연계 가능.

ㅇ 적합한 경우:
– 모델이 장기간 운영되며 입력 데이터 특성이 변할 가능성이 높은 경우.
– 규제 산업(금융, 의료 등)에서 모델 성능 추적이 필수인 경우.
– 대규모 트래픽 환경에서 모델 안정성을 유지해야 하는 경우.

ㅇ 시험 함정:
– 단순히 모델 학습 시 성능 평가와 혼동하는 경우가 많음(운영 환경 모니터링은 별도).
– 데이터 드리프트와 개념 드리프트의 차이를 혼동.
– 모니터링 도구를 설정했다고 해서 자동으로 모델이 개선되는 것은 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 운영 환경에서 모델의 예측 품질 저하를 조기에 발견하기 위해 성능 메트릭을 추적한다.
X: 모델 모니터링은 학습 데이터 전처리 단계에서만 수행된다.

ㅁ 추가 학습 내용

데이터 드리프트(Data Drift)는 입력 데이터의 분포가 변화하여 예측 성능이 저하되는 현상을 의미한다.
개념 드리프트(Concept Drift)는 입력과 출력 간의 관계 자체가 변하는 경우를 의미한다.

모델 모니터링 지표에는 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-score, ROC-AUC, 로그손실(Log Loss), 예측 확률 분포 변화 등이 있다.

운영 환경에서의 모니터링 구현 도구로는 Prometheus, Grafana, Evidently AI, WhyLabs 등이 있으며, Slack, PagerDuty 등의 알림 시스템과 연계하여 이상 징후 발생 시 신속히 대응할 수 있도록 한다.

시험에서는 ‘모델 모니터링이 자동으로 모델을 재학습시킨다’는 함정 문장이 자주 등장하므로, 모니터링은 탐지와 알림 역할에 국한됨을 명확히 이해해야 한다.