ㅁ 성능 추적

1. 사용자 피드백

ㅇ 정의:
모델이 실제 운영 환경에서 생성한 예측이나 추천 결과에 대해 최종 사용자가 제공하는 평가, 의견, 불만, 개선 제안 등의 정보를 수집하여 성능 개선에 활용하는 방법.

ㅇ 특징:
– 정성적(qualitative)·정량적(quantitative) 데이터 모두 포함 가능
– 실시간 또는 주기적으로 수집 가능
– 데이터 품질이 사용자 이해도와 참여도에 크게 의존
– 모델의 맥락별 성능 저하나 편향을 발견하는 데 유용

ㅇ 적합한 경우:
– 모델 결과의 품질이 주관적 판단에 크게 의존하는 경우(예: 추천 시스템, 챗봇)
– 로그 데이터만으로 성능 저하 원인을 파악하기 어려운 경우
– 지속적인 모델 개선 사이클을 운영하는 경우

ㅇ 시험 함정:
– “사용자 피드백은 반드시 정량 데이터여야 한다” → X (정성 데이터도 가능)
– “사용자 피드백은 모델 학습 데이터로 절대 사용하면 안 된다” → X (품질 검증 후 재학습에 활용 가능)
– “사용자 피드백은 성능 추적과 무관하다” → X (직접적인 성능 개선 지표로 활용 가능)

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “사용자 피드백은 모델의 운영 성능 모니터링과 개선에 활용된다.”
– X: “사용자 피드백은 운영 환경에서 수집할 수 없다.”
– O: “사용자 피드백은 정성적·정량적 모두 수집 가능하다.”
– X: “사용자 피드백은 반드시 설문조사 형태로만 수집해야 한다.”

ㅁ 추가 학습 내용

사용자 피드백을 활용하여 성능을 추적할 때는 피드백 데이터의 신뢰성을 높이는 것이 중요하다. 이를 위해 표본 설계와 편향 제거 기법을 적용해야 한다. 특정 사용자 집단에 치우친 피드백은 모델 성능 평가를 왜곡할 수 있으므로, 다양한 사용자 그룹에서 균형 있게 의견을 수집해야 한다. 피드백 수집 채널에 따라 데이터 특성이 달라질 수 있으므로, 앱 내 팝업, 이메일, 별점 평가 등 채널별로 분석하는 과정이 필요하다. 시험에서는 피드백 루프(feedback loop)의 개념, 피드백이 모델 재학습 과정에서 활용되는 방식, 그리고 피드백 데이터의 라벨링 품질 관리 방법이 자주 출제될 수 있다.