ㅁ 로그 및 알림

1. ELK Stack

ㅇ 정의:
– Elasticsearch, Logstash, Kibana로 구성된 오픈소스 로그 수집·저장·시각화 플랫폼.
– 대규모 로그 데이터를 실시간으로 수집, 검색, 분석 가능.

ㅇ 특징:
– Elasticsearch: 분산형 검색 및 분석 엔진.
– Logstash: 다양한 소스에서 로그 수집 및 변환.
– Kibana: 대시보드를 통한 시각화 및 모니터링.
– 확장성, 다양한 플러그인 지원, 실시간 분석 가능.

ㅇ 적합한 경우:
– 서버 및 애플리케이션 로그를 중앙집중식으로 관리해야 하는 경우.
– 실시간 장애 탐지 및 운영 모니터링이 필요한 경우.
– 다양한 로그 포맷을 통합 분석해야 하는 경우.

ㅇ 시험 함정:
– ELK Stack의 각 구성요소 역할 혼동.
– Kibana를 로그 수집 도구로 오인.
– Logstash 없이도 Elasticsearch에 직접 데이터 전송이 가능하다는 점 간과.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Elasticsearch는 로그 검색과 분석을 담당한다.”
– O: “Logstash는 다양한 소스에서 로그를 수집하고 변환한다.”
– X: “Kibana는 로그를 수집하고 저장하는 역할을 한다.”
– X: “ELK Stack은 반드시 Logstash를 통해서만 데이터 수집이 가능하다.”

ㅁ 추가 학습 내용

Elastic Stack은 ELK Stack(Elasticsearch, Logstash, Kibana)에 Beats를 추가한 확장판이다.
Beats는 경량 데이터 수집기로, 서버에 에이전트 형태로 설치되어 동작하며 수집한 데이터를 Logstash 또는 Elasticsearch로 직접 전송한다. 주요 Beats의 종류는 다음과 같다.
– Filebeat: 로그 파일 수집
– Metricbeat: 시스템 및 서비스의 메트릭 수집
– Packetbeat: 네트워크 패킷 분석 및 전송

Elasticsearch는 데이터를 인덱스 단위로 저장하며, 인덱스는 여러 개의 샤드(Shard)로 나뉜다.
– 샤드(Primary Shard): 데이터를 실제로 저장하는 기본 단위
– 레플리카 샤드(Replica Shard): 가용성과 부하 분산을 위해 기본 샤드를 복제한 것

Kibana는 Elasticsearch 데이터를 시각화하고 분석하는 도구로, 다양한 시각화 유형을 제공한다.
– 라인 차트(Line Chart)
– 히트맵(Heatmap)
– TSVB(Time Series Visual Builder) 등
또한 Kibana에는 경고(Alerting) 기능이 있어 특정 조건에 따라 알림을 설정할 수 있다.

Logstash는 데이터 파이프라인 도구로, 입력(Input) → 필터(Filter) → 출력(Output) 구조를 가진다. 필터 단계에서 자주 사용되는 플러그인은 다음과 같다.
– grok: 패턴 매칭을 통한 텍스트 파싱
– mutate: 필드 값 변경, 추가, 삭제
– date: 날짜 형식 변환 및 타임스탬프 처리

운영 환경에서는 보안과 데이터 관리가 중요하다.
– 보안 설정: X-Pack을 통한 TLS 암호화, 사용자 인증 및 권한 관리
– 데이터 보존 정책: Index Lifecycle Management(ILM)를 사용하여 인덱스 생성, 롤오버, 삭제 시점을 자동화하여 저장소 관리 최적화