ㅁ 성능 추적

ㅇ 정의:
모델이 운영 환경에서 예측을 수행하는 과정에서 발생하는 입력 데이터, 예측 결과, 오류, 처리 시간 등의 정보를 기록하는 활동.

ㅇ 특징:
– 실시간 또는 배치 형태로 수집 가능
– 로그 포맷과 저장소를 표준화하여 분석 용이성 확보
– 모델 성능 저하나 데이터 이상 탐지의 기초 자료 제공

ㅇ 적합한 경우:
– 운영 중인 모델의 예측 품질을 지속적으로 모니터링해야 하는 경우
– 장애 발생 시 원인 분석을 위해 상세 실행 기록이 필요한 경우

ㅇ 시험 함정:
– 로그 수집은 단순 저장이 목적이 아니라, 분석·모니터링 목적임을 간과하는 경우
– 개인정보나 민감 데이터가 로그에 포함되지 않도록 처리해야 함을 놓치는 경우

ㅇ 시험 대비 “패턴 보기” 예시:
O: “운영 환경에서 모델 입력과 예측 결과를 기록하여 성능 분석에 활용한다.”
X: “로그 수집은 모델 학습 데이터셋을 생성하는 유일한 방법이다.”

================================

1. 로그 수집

ㅇ 정의:
모델이 예측을 수행하는 과정에서 발생하는 다양한 이벤트와 데이터를 기록하여 저장하는 절차.

ㅇ 특징:
– 구조화/비구조화 로그 형태 모두 가능
– 수집된 로그는 성능 분석, 오류 추적, 보안 감사 등에 활용
– 로그 저장소는 온프레미스, 클라우드, 하이브리드 등 다양한 형태 사용 가능

ㅇ 적합한 경우:
– 모델 예측 품질 저하를 조기에 탐지해야 하는 상황
– 서비스 장애 원인 분석 및 재현이 필요한 경우

ㅇ 시험 함정:
– 로그 수집 자체가 성능 개선을 보장하지 않음
– 로그 저장만 하고 분석 체계가 없으면 의미가 반감됨

ㅇ 시험 대비 “패턴 보기” 예시:
O: “로그 수집은 모델 성능 모니터링과 장애 분석의 기초 자료를 제공한다.”
X: “로그 수집은 항상 모델의 정확도를 향상시킨다.”

ㅁ 추가 학습 내용

로그 수집 시 주요 기술 요소
– 로그 샘플링: 과도한 데이터 저장을 방지하기 위해 일부 로그만 선택적으로 수집
– 로그 수준(Level) 설정: DEBUG, INFO, WARN, ERROR 등으로 구분하여 필요한 로그만 기록
– 중앙집중식 로그 관리: Splunk, ELK Stack 등을 활용해 로그를 통합 관리
– 실시간 스트리밍 수집: Kafka, Fluentd 등을 사용하여 실시간으로 로그 전송 및 처리
– 개인정보 보호 규정 준수: GDPR, CCPA 등에 따라 로그 마스킹, 익명화 기법 적용

시험 유의 사항
– 로그 수집은 원인 분석과 모니터링을 위한 수단이며, 직접적인 모델 성능 향상 수단이 아님
– ‘로그 수집’과 ‘모델 성능 평가’를 혼동하지 않도록 주의