ㅁ 시스템 구축

ㅇ 정의:
AI 모델이 새로운 데이터나 환경 변화에 대응할 수 있도록 지속적으로 성능을 검증하고 개선하기 위해 테스트 환경을 설계하고 운영하는 과정.

ㅇ 특징:
– 모델 배포 전/후로 성능 검증 절차를 구분함.
– 데이터 수집, 전처리, 평가 지표 계산, 결과 분석까지 포함.
– 테스트 환경은 실제 운영 환경과 유사하게 구성하는 것이 중요.

ㅇ 적합한 경우:
– 모델 성능이 시간이 지남에 따라 변할 수 있는 환경.
– 데이터 분포 변화(Concept Drift)가 예상되는 서비스.

ㅇ 시험 함정:
– 오프라인과 온라인 테스트의 목적과 차이를 혼동.
– 오프라인 테스트 결과만으로 운영 환경 성능을 과대평가.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “오프라인 테스트는 과거 데이터로 모델 성능을 검증한다.”
X: “온라인 테스트는 모델 개발 과정에서만 수행된다.”

================================

1. 오프라인 테스트

ㅇ 정의:
과거에 수집된 고정된 데이터셋을 사용하여 모델의 성능을 사전에 검증하는 절차.

ㅇ 특징:
– 재현 가능성이 높음.
– 다양한 실험 조건을 통제 가능.
– 실제 운영 환경 변화를 반영하기 어려움.

ㅇ 적합한 경우:
– 모델 개발 초기 단계.
– 새로운 알고리즘의 성능 비교.

ㅇ 시험 함정:
– 오프라인 테스트 결과가 실제 운영 성능을 보장한다고 착각.
– 데이터 누수(Leakage) 발생 가능성 간과.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “오프라인 테스트는 동일한 데이터셋으로 여러 모델을 비교할 수 있다.”
X: “오프라인 테스트는 실시간 사용자 반응을 반영한다.”

================================

2. 온라인 테스트

ㅇ 정의:
실제 운영 환경에서 실시간 사용자 요청을 기반으로 모델의 성능을 검증하는 절차.

ㅇ 특징:
– A/B 테스트, 다변량 테스트 등 다양한 실험 기법 활용.
– 운영 환경의 변화를 직접 반영.
– 외부 요인(계절, 이벤트 등)에 영향을 받을 수 있음.

ㅇ 적합한 경우:
– 모델 배포 후 성능 모니터링.
– 사용자 경험 개선 여부 검증.

ㅇ 시험 함정:
– 온라인 테스트는 반드시 모든 사용자에게 적용해야 한다는 오해.
– 실험군과 대조군 설정 오류.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “온라인 테스트는 실제 사용자 데이터를 기반으로 한다.”
X: “온라인 테스트는 과거 로그 데이터로만 수행된다.”

ㅁ 추가 학습 내용

오프라인 테스트 vs 온라인 테스트 비교

오프라인 테스트
장점: 빠른 반복 가능, 비용 절감, 위험 부담 적음
단점: 실제 서비스 환경과 차이가 있어 데이터 분포 변화에 취약, 예측 성능이 실제 환경에서 다르게 나타날 수 있음

온라인 테스트
장점: 실제 환경 반영 가능, 실제 사용자 반응 측정 가능, 실험 결과의 현실 적용성 높음
단점: 잘못된 실험 설계 시 사용자 경험에 부정적 영향, 실험 중 서비스 품질 저하 가능성

온라인 테스트 수행 시 유의 사항
– 통계적 유의성 검증: p-value 계산, 적절한 샘플 크기 산출 필요
– 실험 기간 설정: 충분한 데이터 수집과 계절성·요일 효과 반영 고려
– 다중 비교 문제 방지: FDR(False Discovery Rate) 제어, Bonferroni 보정 등 기법 활용

지속 학습 환경에서의 전략
– 오프라인 테스트와 온라인 테스트를 주기적으로 병행
– Concept Drift 조기 탐지를 위해 정기적인 성능 검증과 데이터 분포 변화 모니터링 수행