ㅁ 배포 전략

ㅇ 정의:
ML 모델을 실제 환경에 배포할 때 성능 검증 및 최적화를 위해 다양한 전략을 활용하는 방법.

ㅇ 특징:
– 모델의 안정성과 성능을 보장하기 위해 점진적 또는 실험적 접근 방식 사용.
– 사용자 경험에 미치는 영향을 최소화.
– 실시간 피드백을 통해 모델 개선 가능.

ㅇ 적합한 경우:
– 새로운 ML 모델의 성능을 검증하고 기존 모델과 비교하고자 할 때.
– 대규모 사용자 기반에 모델을 배포할 때.

ㅇ 시험 함정:
– 배포 전략의 종류를 혼동하거나, 특정 전략의 적합한 사용 사례를 잘못 이해할 가능성.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 배포 전략은 모델의 안정성과 성능 검증을 위해 사용된다.
– X: 배포 전략은 모델의 학습 데이터 생성을 위한 과정이다.

================================

1. A/B Test

ㅇ 정의:
두 가지 이상의 모델 버전을 사용자 그룹에 나누어 배포하고 성능을 비교하는 실험적 방법.

ㅇ 특징:
– 동일한 사용자 세그먼트에서 두 가지 모델을 비교.
– 실험군과 대조군으로 나누어 결과 분석.
– 통계적 유의성을 기반으로 결론 도출.

ㅇ 적합한 경우:
– 새로운 모델이 기존 모델보다 성능이 우수한지 확인할 때.
– 특정 사용자 그룹에서의 모델 성능을 평가할 때.

ㅇ 시험 함정:
– A/B Test와 Canary Deployment를 혼동.
– A/B Test 결과를 해석할 때 통계적 유의성을 간과.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: A/B Test는 두 가지 모델 버전을 비교하는 데 사용된다.
– X: A/B Test는 모델의 학습 데이터를 생성하는 방법이다.

ㅁ 추가 학습 내용

A/B 테스트와 관련된 학습 내용을 정리하면 다음과 같습니다:

1. **통계적 유의성**: A/B 테스트 결과를 신뢰할 수 있는지 판단하는 기준으로, p-value를 통해 결과의 유의성을 평가한다. p-value가 통상적으로 0.05 이하일 경우, 두 그룹 간 차이가 통계적으로 유의미하다고 본다.

2. **표본 크기 계산**: A/B 테스트의 결과가 신뢰할 수 있으려면 충분한 표본 크기를 확보해야 한다. 표본 크기를 계산할 때는 최소 검출 효과 크기, 신뢰 수준, 그리고 검정력(파워)을 고려해야 한다.

3. **p-value와 신뢰 구간**:
– **p-value**: 두 그룹 간의 차이가 우연히 발생했을 가능성을 나타내는 값. 낮을수록 결과가 통계적으로 유의미하다.
– **신뢰 구간**: 결과의 변동 범위를 나타내며, 신뢰 구간이 좁을수록 결과의 정확성이 높다.

4. **A/B 테스트의 한계점**:
– **다중 테스트 문제**: 여러 테스트를 동시에 수행하면 p-value가 왜곡될 가능성이 있다. 이를 방지하기 위해 보정 방법(예: Bonferroni correction)을 적용해야 한다.
– **장기적 사용자 경험**: A/B 테스트는 단기적인 효과에 집중하기 쉽다. 하지만 장기적으로 사용자 경험이나 행동에 미치는 영향을 고려해야 한다.