ㅁ 실시간 로그 및 피드백

ㅇ 정의:
모델이 운영 환경에서 생성하는 예측 결과, 입력 데이터, 시스템 상태 등을 실시간으로 수집하고 분석하여 성능 저하나 이상 징후를 조기에 발견하는 방법.

ㅇ 특징:
– 로그 데이터와 메트릭을 실시간 스트리밍 형태로 수집
– 대시보드, 알림 시스템과 연계하여 즉각적인 대응 가능
– 데이터 드리프트, 개념 드리프트 감지에 활용

ㅇ 적합한 경우:
– 금융 거래 사기 탐지처럼 실시간 대응이 필요한 서비스
– 대규모 사용자 트래픽을 처리하는 온라인 서비스

ㅇ 시험 함정:
– 단순 배치 로그 분석과 혼동할 수 있음
– 실시간 처리라고 해서 무조건 모든 데이터가 즉시 분석되는 것은 아님(지연 가능성 존재)

ㅇ 시험 대비 “패턴 보기” 예시:
O: “운영 중인 모델의 예측 결과를 스트리밍 처리로 모니터링한다.”
X: “실시간 로그는 하루에 한 번 수집된다.”

================================

1. 메트릭 추적

ㅇ 정의:
모델의 성능 및 운영 상태를 나타내는 지표(정확도, 재현율, 지연 시간, 오류율 등)를 지속적으로 기록하고 분석하여 모델 품질을 유지하는 활동.

ㅇ 특징:
– KPI(Key Performance Indicator) 기반 모니터링
– 임계값 초과 시 알림 또는 자동 조치 가능
– 시간 경과에 따른 성능 변화 추적

ㅇ 적합한 경우:
– SLA(Service Level Agreement) 준수가 중요한 환경
– 모델 성능 저하를 조기에 파악해야 하는 환경

ㅇ 시험 함정:
– 메트릭은 단일 지표만 추적하면 충분하다고 오해할 수 있음
– 오프라인 평가 메트릭과 운영 환경 메트릭을 혼동

ㅇ 시험 대비 “패턴 보기” 예시:
O: “재현율이 특정 임계값 아래로 떨어지면 경고를 발생시킨다.”
X: “운영 환경에서는 메트릭 추적이 필요 없다.”

ㅁ 추가 학습 내용

메트릭 추적 시에는 단순한 성능 지표뿐 아니라 데이터 품질 지표와 시스템 지표를 함께 고려해야 한다. 데이터 품질 지표에는 결측치 비율, 입력 데이터 분포 변화 등이 포함되며, 시스템 지표에는 CPU 사용량, 메모리 사용량 등이 있다.
메트릭 기준값을 설정할 때는 과거 데이터를 기반으로 한 통계적 방법을 적용하는 것이 좋다. 예를 들어 이동 평균과 표준편차를 활용하면 이상 탐지의 정확도를 높일 수 있다.
시험에서는 ‘실시간’이라는 용어가 등장하더라도 실제로는 지연(latency) 개념이 존재함을 이해해야 하며, 스트리밍 처리와 마이크로 배치 처리의 차이를 구분할 수 있어야 한다.
또한 메트릭 추적과 로그 수집의 차이, 오프라인 평가 지표와 온라인 모니터링 지표의 차이를 명확히 파악해야 한다.