ㅁ 성능 추적

ㅇ 정의:
모델이 운영 환경에서 지속적으로 예측 성능을 유지하고 있는지 확인하기 위해 데이터 분포 변화나 예측 결과 변화를 추적하는 활동.

ㅇ 특징:
– 입력 데이터 분포, 레이블 분포, 예측 결과의 통계적 특성을 주기적으로 수집 및 분석.
– 데이터 드리프트, 개념 드리프트 등을 탐지하여 모델 재학습 시점을 판단.
– 실시간 또는 배치 기반으로 모니터링 가능.

ㅇ 적합한 경우:
– 데이터 특성이 시간에 따라 변할 가능성이 높은 도메인(예: 금융 거래, 사용자 행동 분석).
– 규제 준수가 필요한 산업에서 모델 성능 저하를 방지해야 하는 경우.

ㅇ 시험 함정:
– 드리프트를 단순히 성능 저하와 동일시하는 경우 오답.
– 데이터 드리프트와 개념 드리프트의 차이를 혼동.
– 모니터링 지표를 단일 지표로 한정하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “데이터 입력 분포의 변화를 감지하여 모델 재학습 시점을 결정한다.”
X: “드리프트 모니터링은 모델 정확도를 직접 향상시키는 기법이다.”

================================

1. 드리프트 모니터링

ㅇ 정의:
운영 중인 모델의 입력 데이터나 출력 결과의 분포가 학습 시점과 달라지는 현상을 탐지하고, 이를 기반으로 성능 저하 가능성을 사전에 파악하는 기법.

ㅇ 특징:
– 데이터 드리프트(입력 특성 분포 변화)와 개념 드리프트(입력-출력 관계 변화) 모두 감지 가능.
– 통계적 검정(KS-test, Chi-square test) 또는 거리 기반 지표(KL divergence, Jensen-Shannon divergence) 활용.
– 경고 임계값을 설정하여 자동 알림 가능.

ㅇ 적합한 경우:
– 실시간 데이터 유입이 많은 서비스 환경.
– 데이터 수집 경로나 센서 특성이 변할 수 있는 IoT, 제조, 금융 분야.

ㅇ 시험 함정:
– 드리프트가 발생했다고 해서 반드시 모델 성능이 저하되는 것은 아님.
– 단기 변동과 장기 추세를 구분하지 않으면 과도한 재학습 발생.
– 데이터 드리프트와 개념 드리프트를 동일하게 취급하는 오류.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “드리프트 모니터링은 입력 데이터 분포 변화를 탐지하여 모델 유지보수 시점을 판단한다.”
X: “드리프트 모니터링은 새로운 데이터에 대한 모델의 정확도를 즉시 향상시킨다.”

ㅁ 추가 학습 내용

드리프트 모니터링에서는 데이터 드리프트와 개념 드리프트를 구분해야 한다.
데이터 드리프트는 입력 데이터의 통계적 분포가 변하는 것을 의미하며,
개념 드리프트는 입력과 출력 간의 관계가 변하는 것을 의미한다.
시험에서는 이 두 개념의 정의를 구분하거나, 예시 상황에서 어떤 드리프트인지 판단하는 문제가 자주 출제된다.

드리프트 탐지 기법으로는 KS-test, PSI(Population Stability Index), KL divergence 등이 있으며, 각 기법의 계산 원리와 해석 방법을 숙지해야 한다.

실무에서는 드리프트가 감지되더라도 즉시 재학습하지 않고, 샘플 검증과 영향 분석을 거치는 절차가 필요하다. 이는 시험에서 함정으로 출제될 수 있다.

또한 모니터링 주기와 임계값 설정은 너무 민감하면 false positive가 많아지고, 너무 완화하면 성능 저하를 놓칠 수 있는 운영상의 trade-off가 존재한다.