ㅁ 성능 추적

ㅇ 정의:
성능 추적은 AI 모델의 성능을 지속적으로 모니터링하고, 시간에 따른 변화를 분석하여 모델의 신뢰성과 효율성을 유지하는 과정이다.

ㅇ 특징:
– 데이터 분포의 변화(데이터 드리프트)와 모델의 예측 정확도 감소를 조기에 발견 가능
– 실시간 또는 배치(batch) 방식으로 수행 가능
– 다양한 성능 메트릭을 활용하여 다각도로 분석

ㅇ 적합한 경우:
– 모델이 배포된 이후에도 안정적인 성능을 유지해야 하는 경우
– 데이터가 지속적으로 업데이트되거나 변동성이 큰 경우

ㅇ 시험 함정:
– 성능 추적과 모델 재학습(retraining)의 구분을 명확히 하지 못하는 경우
– 단일 메트릭만으로 성능을 평가하려는 접근

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 성능 추적은 데이터 드리프트를 조기에 발견할 수 있는 도구이다.
– X: 성능 추적은 모델의 예측 결과를 실시간으로 수정하는 과정이다.

================================

1. 성능 메트릭

ㅇ 정의:
성능 메트릭은 AI 모델의 성능을 정량적으로 평가하기 위해 사용되는 기준으로, 모델의 예측 정확성, 정밀도, 재현율 등을 포함한다.

ㅇ 특징:
– 목적에 따라 다양한 메트릭 사용 가능 (예: 분류, 회귀, 클러스터링 등)
– 단일 메트릭이 아닌 여러 메트릭을 조합하여 평가하는 것이 일반적
– 데이터의 불균형 문제를 고려한 메트릭(예: F1-score) 필요

ㅇ 적합한 경우:
– 모델의 성능을 비교하거나 개선점을 도출하고자 할 때
– 특정 비즈니스 목표에 부합하는 성능 기준을 설정해야 할 때

ㅇ 시험 함정:
– 메트릭의 정의와 활용 목적을 혼동하는 경우
– 데이터 불균형 상황에서 정확도만으로 성능을 평가하려는 경우

ㅇ 시험 대비 “패턴 보기” 예시:
– O: F1-score는 데이터 불균형 상황에서 모델 성능을 평가하는 데 적합하다.
– X: RMSE는 분류 모델의 성능을 평가하는 주요 지표이다.

ㅁ 추가 학습 내용

성능 메트릭과 관련하여 다음과 같은 내용을 정리하여 학습하세요.

1. AUC-ROC와 Precision-Recall Curve:
– AUC-ROC는 이진 분류 문제에서 분류 모델의 성능을 평가하는 데 사용되며, 곡선 아래 면적(AUC)을 통해 모델의 분류 능력을 측정합니다. ROC 곡선은 True Positive Rate와 False Positive Rate의 관계를 시각화합니다.
– Precision-Recall Curve는 특히 불균형 데이터셋에서 유용하며, 정밀도(Precision)와 재현율(Recall)의 관계를 나타냅니다. 두 곡선의 차이점과 활용 상황을 이해하세요.

2. 성능 비교 시 통계적 유의성 평가:
– t-test: 두 모델의 성능 차이가 우연에 의한 것이 아니라 통계적으로 유의미한지를 판단하는 데 사용됩니다.
– McNemar’s test: 동일한 데이터셋에서 두 분류 모델의 성능을 비교할 때 사용되는 비모수 통계 기법입니다.
– 각 기법의 가정과 적용 방법을 학습하고, 결과 해석 방법도 익히세요.

3. 실시간 모니터링 환경에서 성능 추적 자동화:
– 실시간 데이터 스트림에서 모델 성능을 지속적으로 평가하는 방법을 학습하세요. 예를 들어, 로그 데이터를 수집하고 대시보드로 시각화하는 도구(예: Prometheus, Grafana)를 활용할 수 있습니다.
– 성능 저하를 탐지하는 지표 설정과 알림 시스템 구현 사례를 조사하세요.

위 내용을 체계적으로 학습하면 시험 준비에 도움이 될 것입니다.