ㅁ 모델 모니터링

ㅇ 정의:
– 운영 환경에서 배포된 AI/ML 모델의 입력 데이터, 예측 결과, 성능 지표 등을 지속적으로 관찰하고 이상 징후를 조기에 감지하는 활동.

ㅇ 특징:
– 데이터 분포, 모델 예측 결과, 성능 지표의 변화 추적
– 실시간 또는 배치 기반 모니터링 가능
– 데이터 드리프트, Concept Drift, 성능 저하 등 다양한 원인 탐지
– 모니터링 도구(예: EvidentlyAI, Prometheus, Grafana, MLflow)와 연계

ㅇ 적합한 경우:
– 장기간 운영되는 모델에서 환경 변화 가능성이 높은 경우
– 규제 산업(금융, 의료)에서 지속적인 성능 검증이 필요한 경우
– 비즈니스 의사결정에 직접 영향을 미치는 모델

ㅇ 시험 함정:
– 단순한 로깅과 혼동하는 경우
– 배포 전 검증 단계를 모니터링으로 잘못 이해
– 모델 재학습과 모니터링을 동일 개념으로 착각

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “운영 환경에서 데이터 분포 변화를 감지하는 활동은 모델 모니터링의 핵심이다.”
– X: “모델 모니터링은 학습 데이터 전처리 과정에서 수행된다.”

================================

1. 데이터 드리프트

ㅇ 정의:
– 모델이 학습한 데이터 분포와 운영 환경에서 입력되는 데이터 분포가 시간이 지남에 따라 달라지는 현상.

ㅇ 특징:
– 입력 데이터의 통계적 특성(평균, 분산, 범위 등)이 변화
– 모델 성능 저하의 주요 원인 중 하나
– 원인: 계절 변화, 사용자 행동 변화, 시장 트렌드 변화 등
– 검출 방법: Kolmogorov-Smirnov 테스트, Jensen-Shannon Divergence 등

ㅇ 적합한 경우:
– 데이터 특성이 외부 환경에 민감한 모델(소비자 행동 분석, 날씨 예측 등)
– 실시간 데이터 스트림 모니터링이 필요한 경우

ㅇ 시험 함정:
– Concept Drift와 혼동(데이터 드리프트는 입력 데이터 분포 변화, Concept Drift는 목표/관계 변화)
– 단순 이상치 발생을 드리프트로 오해

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “데이터 드리프트는 입력 데이터의 분포가 변하는 현상을 의미한다.”
– X: “데이터 드리프트는 모델이 학습한 개념 자체가 변하는 것을 뜻한다.”

================================

2. Concept Drift

ㅇ 정의:
– 입력 데이터와 목표 변수(레이블) 간의 관계가 시간이 지남에 따라 변하는 현상.

ㅇ 특징:
– 동일한 입력 데이터라도 예측해야 하는 결과가 달라짐
– 데이터 드리프트 없이도 발생 가능
– 원인: 규제 변화, 사용자 행동 패턴 변화, 외부 환경 변화
– 유형: Sudden Drift, Gradual Drift, Incremental Drift

ㅇ 적합한 경우:
– 금융 사기 탐지, 추천 시스템 등 지속적으로 패턴이 변화하는 분야
– 장기간 운영되며 주기적인 재학습이 필요한 모델

ㅇ 시험 함정:
– 데이터 드리프트와 혼동
– 단순 노이즈를 Concept Drift로 오해

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Concept Drift는 입력과 출력 간의 관계가 변하는 현상이다.”
– X: “Concept Drift는 데이터의 분포가 변하는 것이다.”

================================

3. 성능 모니터링

ㅇ 정의:
– 모델의 예측 정확도, 정밀도, 재현율, F1-score 등 성능 지표를 지속적으로 측정하고 관리하는 활동.

ㅇ 특징:
– 운영 환경에서의 실제 성능을 주기적으로 평가
– 데이터 드리프트, Concept Drift와 연계하여 해석 필요
– 자동 알림 및 재학습 트리거 설정 가능
– 단기/장기 트렌드 분석 가능

ㅇ 적합한 경우:
– SLA(Service Level Agreement) 준수가 필요한 모델
– 모델 성능 저하를 조기에 감지해야 하는 서비스 환경

ㅇ 시험 함정:
– 오프라인 테스트 성능만을 성능 모니터링으로 착각
– 단일 지표만 보고 전체 성능을 판단하는 오류

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “운영 환경에서의 예측 정확도를 지속적으로 추적하는 것은 성능 모니터링에 해당한다.”
– X: “성능 모니터링은 모델 개발 초기 단계에서만 수행된다.”

================================

다음 단계로, 원하시면 제가 **각 세부 용어별 하위 주요 기술**까지 구체적으로 작성해서 시험 대비 심화 버전을 만들어 드릴까요?
이렇게 하면 출제 포인트를 더 깊게 대비할 수 있습니다.