ㅁ 실시간 로그 및 피드백

ㅇ 정의:
실시간으로 생성되는 로그 데이터를 분석하고 사용자 피드백을 수집하여 AI 모델의 성능을 지속적으로 모니터링하는 프로세스.

ㅇ 특징:
– 실시간 데이터 처리 능력이 요구됨.
– 사용자 피드백을 기반으로 모델의 개선 방향을 도출 가능.
– 로그 데이터의 품질과 처리 속도가 중요한 요소.

ㅇ 적합한 경우:
– 모델 성능이 환경 변화에 민감한 경우.
– 사용자 경험(UX)이 중요한 애플리케이션.
– 데이터가 지속적으로 생성되고 변화하는 환경.

ㅇ 시험 함정:
– 실시간 로그와 배치 로그의 차이를 혼동하는 문제.
– 사용자 피드백의 주관성을 간과하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 실시간 로그는 모델의 상태를 즉각적으로 파악할 수 있게 해준다.
X: 실시간 로그는 항상 정제된 데이터만을 포함한다.

================================

1. 모델 드리프트 감지

ㅇ 정의:
AI 모델의 입력 데이터 분포나 출력 결과가 시간에 따라 변화하여 모델의 예측 성능이 저하되는 현상을 감지하는 방법.

ㅇ 특징:
– 데이터 분포의 변화와 모델 성능 간의 상관관계를 분석.
– 주로 통계적 기법과 머신러닝 기반 기법을 활용.
– 조기 감지를 통해 모델 재훈련 시점을 결정 가능.

ㅇ 적합한 경우:
– 데이터 환경이 동적으로 변화하는 애플리케이션.
– 장기간 운영되는 AI 시스템.

ㅇ 시험 함정:
– 드리프트 감지와 모델 재훈련의 차이를 혼동하는 문제.
– 드리프트가 항상 모델 성능 저하로 이어진다고 단정짓는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 모델 드리프트는 입력 데이터의 분포 변화로 인해 발생할 수 있다.
X: 모델 드리프트는 항상 모델의 출력 정확도를 높인다.

ㅁ 추가 학습 내용

모델 드리프트 감지와 관련하여 학습해야 할 내용을 정리하면 다음과 같습니다.

1. 드리프트의 종류와 특징
– 데이터 드리프트: 입력 데이터의 분포가 시간이 지남에 따라 변화하는 현상. 예를 들어, 고객의 행동 패턴 변화로 인해 모델 입력 데이터가 달라질 수 있다.
– 개념 드리프트: 데이터와 레이블 간의 관계가 변화하는 현상. 예를 들어, 특정 조건에서의 예측 결과가 시간이 지나면서 달라질 수 있다.
– 특징: 데이터 드리프트는 입력 데이터의 변화에 초점이 맞춰져 있고, 개념 드리프트는 모델이 학습한 관계 자체의 변화를 의미한다.

2. 드리프트의 대응 방법
– 데이터 드리프트: 새로운 데이터 분포를 반영할 수 있도록 데이터 정규화, 피처 엔지니어링 재검토, 데이터 샘플링 전략 수정 등을 수행.
– 개념 드리프트: 모델 재훈련, 드리프트 감지 후 새로운 데이터로 모델을 업데이트하거나 온라인 학습 기법 활용.

3. 드리프트 감지를 위한 주요 지표
– PSI (Population Stability Index): 두 데이터 분포 간의 차이를 측정하는 지표. 값이 클수록 분포 차이가 크다는 것을 의미.
– K-S 테스트 (Kolmogorov-Smirnov Test): 두 데이터 분포가 동일한지 여부를 검정하는 통계적 방법.
– 기타 지표: Hellinger Distance, Jensen-Shannon Divergence 등.

4. 드리프트 지표 계산 방법
– PSI: 데이터 분포를 구간화하여 각 구간의 차이를 계산한 후 합산.
– K-S 테스트: 데이터의 누적 분포 함수(CDF)를 비교하여 최대 차이를 계산.
– 기타 지표: 각각의 정의에 따른 수학적 계산 방법 학습.

5. 드리프트 감지 이후 모델 업데이트 전략
– 온라인 학습: 새로운 데이터를 실시간으로 반영하여 모델을 점진적으로 업데이트.
– 주기적 재훈련: 일정 주기마다 새로운 데이터로 모델을 재훈련하여 최신 상태 유지.
– 앙상블 기법: 기존 모델과 새로운 모델을 결합하여 성능 저하를 방지.
– 경고 시스템: 드리프트가 감지되면 알림을 통해 모델 업데이트 시점을 결정.

위 내용을 중심으로 시험 대비 학습을 진행하면 모델 드리프트 감지와 관련된 주요 개념과 실무 활용 방법을 효과적으로 이해할 수 있을 것입니다.