ㅁ 실시간 로그 및 피드백

ㅇ 정의:
– 시스템이 운영 중일 때 발생하는 로그 데이터와 사용자로부터의 피드백을 실시간으로 수집하여 모델 성능 및 서비스 품질을 모니터링하는 기법.

ㅇ 특징:
– 실시간 데이터 스트림 처리 필요.
– 로그 데이터는 구조적/비구조적 형태 모두 포함.
– 사용자 피드백은 명시적(평가, 설문) 또는 암묵적(행동 로그)으로 수집 가능.
– 데이터 품질과 개인정보 보호 이슈 존재.

ㅇ 적합한 경우:
– 서비스 품질을 빠르게 개선해야 하는 온라인 서비스.
– 모델 예측 결과에 대한 즉각적인 반응이 중요한 경우.

ㅇ 시험 함정:
– 실시간 로그 수집과 배치 로그 수집의 차이를 혼동.
– 피드백 수집이 항상 명시적 방법만을 의미한다고 오해.

ㅇ 시험 대비 “패턴 보기” 예시:
– (O) 실시간 로그는 스트리밍 처리 기술이 필요하다.
– (X) 사용자 피드백은 반드시 설문조사와 같은 명시적 방법으로만 수집된다.

================================

1. 사용자 피드백 수집

ㅇ 정의:
– 모델 또는 서비스 사용 후 사용자의 반응, 평가, 행동 데이터를 수집하여 모델 개선 및 서비스 품질 향상을 위한 자료로 활용하는 과정.

ㅇ 특징:
– 명시적 피드백: 평점, 리뷰, 설문 응답 등.
– 암묵적 피드백: 클릭, 체류 시간, 구매 여부 등 행동 기반 데이터.
– 데이터 편향 가능성 존재(적극적 사용자만 응답 등).
– 개인정보 및 보안 고려 필요.

ㅇ 적합한 경우:
– 추천 시스템, 검색 엔진, 개인화 서비스.
– 지속적 모델 개선이 필요한 환경.

ㅇ 시험 함정:
– 명시적/암묵적 피드백 구분을 혼동.
– 피드백 데이터가 항상 정확하고 객관적이라고 가정.

ㅇ 시험 대비 “패턴 보기” 예시:
– (O) 암묵적 피드백은 사용자의 행동 데이터를 기반으로 한다.
– (X) 명시적 피드백은 반드시 설문조사 결과만을 의미한다.

ㅁ 추가 학습 내용

추가 학습 정리

1. 데이터 품질 관리 방안
– 노이즈 제거: 불필요하거나 잘못된 데이터를 식별 및 제거하여 분석 정확도 향상
– 이상치 처리: 통계적 기법이나 도메인 지식을 활용해 비정상적으로 벗어난 데이터를 조정 또는 제거

2. 규제 준수 방법
– GDPR, 개인정보 보호법 등 관련 법규 이해 및 적용
– 데이터 수집·저장·처리 과정에서 개인정보 최소 수집, 익명화, 암호화 등 보안 조치 수행

3. 실시간 피드백 반영 모델 재학습 전략
– 온라인 러닝: 새로운 데이터가 들어올 때마다 즉시 모델을 업데이트
– 점진적 학습: 일정 주기 또는 데이터 축적 후 모델을 부분적으로 업데이트

4. 피드백 루프에서의 자기 강화 편향 문제
– 정의: 모델의 예측 결과가 다시 데이터 수집에 영향을 주어 편향이 강화되는 현상
– 완화 기법: 샘플링 다양화로 다양한 데이터 확보, 무작위 실험을 통해 편향 누적 방지