ㅁ 모델 모니터링

ㅇ 정의:
– 모델의 성능과 동작을 지속적으로 관찰하고 평가하여 이상 징후나 성능 저하를 감지하는 과정.

ㅇ 특징:
– 데이터, 모델, 환경 변화에 따른 영향을 실시간으로 감지 가능.
– 경고 시스템을 통해 문제 발생 시 빠르게 대응 가능.

ㅇ 적합한 경우:
– 데이터가 지속적으로 업데이트되거나 환경이 자주 변하는 경우.
– 모델의 예측 정확도가 비즈니스 의사결정에 큰 영향을 미치는 경우.

ㅇ 시험 함정:
– 모델 성능 저하의 원인을 단순히 데이터 문제로만 한정짓는 경우.
– 모니터링 지표를 과도하게 세분화하여 관리가 어려워지는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “모니터링은 모델의 성능 저하를 사전에 감지하는 데 효과적이다.”
– X: “모니터링은 모델의 성능을 항상 일정하게 유지한다.”

================================

1. Concept Drift

ㅇ 정의:
– 데이터의 분포가 시간에 따라 변화하여 모델의 성능에 영향을 미치는 현상.

ㅇ 특징:
– 점진적 변화(Gradual Drift)와 급격한 변화(Sudden Drift)로 나뉨.
– 데이터의 입력 특징이나 출력 레이블의 관계가 변할 수 있음.

ㅇ 적합한 경우:
– 사용자 행동 패턴이 자주 바뀌는 애플리케이션(예: 추천 시스템).
– 계절적 요인에 따라 데이터 특성이 달라지는 경우.

ㅇ 시험 함정:
– Concept Drift를 단순히 데이터 오류로 오해하는 경우.
– Drift 감지 후 즉각적인 모델 재학습이 항상 필요하다고 보는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Concept Drift는 데이터 분포의 변화로 인해 모델 성능이 저하되는 현상을 의미한다.”
– X: “Concept Drift는 모델의 과적합 문제를 해결하기 위한 기법이다.”

ㅁ 추가 학습 내용

Concept Drift는 데이터 분포가 시간에 따라 변하는 현상을 의미하며, 머신러닝 모델의 성능에 영향을 줄 수 있습니다. 이를 학습하기 위해 다음 내용을 정리합니다:

1. 데이터 분포 변화의 유형:
– Gradual Drift: 데이터 분포가 점진적으로 변화하는 유형으로, 시간이 지남에 따라 천천히 발생합니다. 예를 들어, 사용자의 선호도가 점차적으로 바뀌는 경우가 해당됩니다.
– Sudden Drift: 데이터 분포가 갑작스럽게 변화하는 유형으로, 특정 사건이나 환경 변화로 인해 발생합니다. 예를 들어, 새로운 규제나 정책 변경으로 인한 데이터 특성 변화가 포함됩니다.
– Recurring Drift: 데이터 분포가 반복적으로 변화하는 유형으로, 주기적 패턴을 보이는 경우입니다. 예를 들어, 계절적 요인에 따라 소비자 행동이 변하는 경우가 이에 해당합니다.

2. Drift를 감지하는 주요 기법:
– Statistical Tests: 데이터 분포의 차이를 평가하기 위해 통계적 검정을 활용합니다. 예를 들어, Kolmogorov-Smirnov 테스트나 Chi-squared 테스트를 사용하여 현재 데이터와 과거 데이터의 분포가 다른지 확인합니다.
– Monitoring Metrics: 모델의 성능 지표를 지속적으로 모니터링하여 Drift를 감지합니다. 예를 들어, 예측 정확도나 손실 함수 값의 급격한 변화를 관찰합니다.

3. Drift를 해결하기 위한 대응 전략:
– 모델 재학습: 새로운 데이터로 모델을 재학습하여 변화된 데이터 분포를 반영합니다. 이는 가장 일반적인 대응 방법입니다.
– 적응형 모델 업데이트: 모델이 실시간으로 데이터 분포 변화에 적응하도록 설계합니다. 예를 들어, 온라인 학습 방식이나 점진적 업데이트를 활용합니다.
– 데이터 샘플링 및 가중치 조정: Drift를 완화하기 위해 데이터 샘플링 기법을 사용하거나 모델의 가중치를 조정하여 특정 데이터 분포를 더 잘 반영하도록 합니다.

이러한 내용을 체계적으로 학습하면 Concept Drift와 관련된 시험 문제를 효과적으로 대비할 수 있습니다.