ㅁ 성능 추적

ㅇ 정의:
모델이 배포된 이후에도 지속적으로 성능을 평가하고, 데이터 및 환경 변화에 따라 성능 저하를 감지하는 과정.

ㅇ 특징:
– 모델의 신뢰성을 유지하기 위해 필수적임.
– 데이터 드리프트, 개념 드리프트 등 다양한 원인으로 인해 성능 저하가 발생할 수 있음.
– 주기적인 평가와 실시간 모니터링이 필요함.

ㅇ 적합한 경우:
– 모델이 실시간 데이터를 처리하는 경우.
– 데이터가 정적이지 않고 시간이 지남에 따라 변화하는 경우.
– 모델의 결과가 비즈니스 의사결정에 직접적인 영향을 미치는 경우.

ㅇ 시험 함정:
– 드리프트 원인을 단순히 데이터의 양적 변화로만 해석하는 경우.
– 성능 저하를 감지했음에도 원인 분석 및 조치를 수행하지 않는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 모델 성능 추적은 데이터 드리프트와 개념 드리프트를 포함한다.
– X: 성능 추적은 모델 배포 전에만 수행된다.

================================

1. 드리프트 모니터링

ㅇ 정의:
데이터 또는 모델의 입력 분포가 시간이 지남에 따라 변화하여 모델 성능에 영향을 미치는 현상을 감지하고 분석하는 과정.

ㅇ 특징:
– 데이터 드리프트(입력 데이터 변화)와 개념 드리프트(목표 변수와 입력 변수 간 관계 변화)로 구분됨.
– 통계적 방법(예: KS 테스트, PSI)이나 머신러닝 기반 방법을 활용하여 드리프트를 감지함.
– 성능 지표와 드리프트 감지를 연계하여 종합적인 모니터링 가능.

ㅇ 적합한 경우:
– 데이터의 분포가 계절성, 트렌드 등으로 변동하는 경우.
– 모델 배포 후 장기적으로 성능을 유지해야 하는 경우.

ㅇ 시험 함정:
– 데이터 드리프트와 개념 드리프트를 동일하게 간주하는 경우.
– 드리프트 감지 후 적절한 조치를 수행하지 않는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 드리프트 모니터링은 데이터 드리프트와 개념 드리프트를 모두 포함한다.
– X: 드리프트 모니터링은 모델 재학습 없이도 문제를 해결할 수 있다.

ㅁ 추가 학습 내용

1. 드리프트 모니터링에서 중요한 개념인 PSI(Population Stability Index)는 데이터 분포 변화를 측정하는 통계 지표로, 이를 계산하는 방법과 해석 방법을 학습하는 것이 중요합니다. PSI는 두 데이터 집단의 분포 차이를 비교하는 데 사용되며, 특정 임계값을 기준으로 데이터 드리프트 여부를 판단합니다. 계산 과정은 데이터 분포를 구간화한 후 각 구간에서 비율의 차이를 로그 함수와 곱셈을 통해 계산하여 합산하는 방식으로 이루어집니다. PSI 값이 0.1 이하이면 안정적, 0.1~0.25는 경미한 드리프트, 0.25 이상이면 심각한 드리프트로 간주됩니다.

2. 데이터 드리프트와 개념 드리프트를 감지한 이후의 조치 방법은 다음과 같습니다. 첫째, 모델 재학습은 새로운 데이터로 모델을 다시 학습시켜 드리프트 문제를 해결하는 방법입니다. 둘째, 데이터 전처리 개선은 데이터 품질을 높이거나 특성 엔지니어링을 통해 드리프트를 완화하는 데 초점을 둡니다. 셋째, 모델 모니터링 주기를 단축하거나 경고 시스템을 강화하여 드리프트를 조기에 감지하고 대응할 수 있도록 개선합니다. 이러한 조치 방법들은 실제 사례로, 예를 들어 금융 분야에서는 고객 행동 변화에 따라 신용 점수 모델을 재학습하거나, 제조업에서는 센서 데이터의 이상치를 처리하는 방식으로 구현됩니다.

3. 드리프트 모니터링과 관련된 주요 도구들의 특징과 사용 사례를 이해하는 것도 중요합니다. Azure Monitor는 마이크로소프트의 클라우드 환경에서 데이터와 애플리케이션 성능을 모니터링하고 경고를 설정할 수 있는 도구로, 데이터 드리프트를 실시간으로 감지할 수 있습니다. AWS SageMaker Model Monitor는 아마존의 머신러닝 플랫폼에서 모델 성능과 데이터 품질을 모니터링하며, 데이터 드리프트 및 개념 드리프트를 자동으로 감지하고 알림을 제공합니다. 이러한 도구들은 대규모 시스템에서 드리프트를 관리하고, 문제 발생 시 빠르게 대응할 수 있도록 설계되어 있습니다.