ㅁ 실시간 로그 및 피드백

ㅇ 정의:
모델이 운영 환경에서 생성하는 로그 데이터를 실시간으로 수집, 분석하여 성능 저하, 오류, 이상 징후를 즉시 파악하는 기법.

ㅇ 특징:
– 로그 수집, 파싱, 시각화를 위한 파이프라인 필요
– 대규모 데이터 스트림 처리 기술(Kafka, Flink 등)과 연계
– 실시간 알림 시스템과 통합 가능

ㅇ 적합한 경우:
– 사용자 요청 패턴 변화에 따라 모델 성능이 급격히 변할 수 있는 서비스
– 금융, 보안, 실시간 추천 시스템 등 즉각 대응이 필요한 환경

ㅇ 시험 함정:
– 로그 분석과 모델 재학습은 동일한 개념이 아님
– 배치 로그 분석과 실시간 로그 분석의 차이를 혼동하기 쉬움

ㅇ 시험 대비 “패턴 보기” 예시:
O: “실시간 로그 분석은 모델 이상 징후를 조기 탐지하는 데 활용된다.”
X: “실시간 로그 분석은 모델을 자동으로 재학습하는 과정이다.”

================================

1. 로그 분석

ㅇ 정의:
시스템 또는 애플리케이션에서 발생하는 로그 데이터를 수집, 저장, 가공하여 의미 있는 정보를 도출하는 데이터 분석 기법.

ㅇ 특징:
– 정형/비정형 데이터 모두 처리 가능
– 로그 포맷 표준화 필요(JSON, CSV 등)
– 시계열 분석, 패턴 인식, 이상 탐지 기법 사용

ㅇ 적합한 경우:
– 서비스 장애 원인 분석
– 사용자 행동 분석 및 서비스 개선
– 보안 침해 탐지

ㅇ 시험 함정:
– 로그 저장과 로그 분석을 혼동하는 경우
– 로그 분석 도구와 모니터링 도구의 목적 차이 간과

ㅇ 시험 대비 “패턴 보기” 예시:
O: “로그 분석은 장애 원인 파악과 이상 징후 탐지에 활용된다.”
X: “로그 분석은 로그 데이터를 단순 저장하는 과정이다.”

ㅁ 추가 학습 내용

실시간 로그 분석 주요 기술 스택과 구성 요소 역할
– ELK Stack: Elasticsearch(로그 저장 및 검색), Logstash(로그 수집 및 처리), Kibana(시각화)
– Prometheus: 시계열 데이터 수집 및 모니터링
– Grafana: 다양한 데이터 소스 기반 시각화 대시보드

로그 수집기와 메시지 큐의 차이 및 연계 방식
– Fluentd, Logstash: 로그를 수집, 변환, 전달하는 역할
– Kafka: 대규모 데이터 스트림을 처리하는 메시지 큐 시스템
– 연계 방식: 로그 수집기가 수집한 데이터를 Kafka로 전송하여 안정적이고 확장성 있는 데이터 파이프라인 구성

로그 분석 주요 KPI 예시
– 응답 속도(Response Time)
– 에러율(Error Rate)
– 트래픽 패턴(Traffic Pattern)

실시간 로그 분석과 배치 로그 분석 비교
– 실시간 분석: 즉각적인 이상 탐지 가능, 빠른 대응, 하지만 인프라 비용과 복잡도 높음
– 배치 분석: 대량 데이터 처리에 적합, 비용 효율적, 하지만 이상 상황 대응 속도 느림

로그 데이터 전처리와 보안 준수
– 필터링: 불필요한 로그 제거
– 마스킹: 민감 정보 일부 가림 처리
– 익명화: 개인정보를 식별 불가능하게 처리
– 보안 준수: 개인정보 보호법, 내부 보안 정책에 따른 처리

로그 분석과 APM 차이
– 로그 분석: 시스템 및 애플리케이션에서 발생하는 이벤트 기록을 기반으로 문제 원인 분석
– APM: 애플리케이션 성능 모니터링에 특화, 트랜잭션 추적, 성능 병목 지점 파악