시간 데이터 처리: 윈도잉

ㅁ 시간 데이터 처리 ㅇ 정의: 시간 데이터를 분석 가능한 형태로 변환하거나, 특정 시간 간격으로 데이터를 처리하는 기법. ㅇ 특징: – 시간 간격에 따라 데이터를 집계하거나 분할함. – 주로 시계열 데이터 분석에서 사용됨. – 데이터의 패턴을 시간 단위로 관찰할 수 있음. ㅇ 적합한 경우: – 주기적 패턴을 분석하거나 예측할 때. – 대량의 시계열 데이터를 시간

시간 데이터 처리: 시계열 분해

ㅁ 시간 데이터 처리 ㅇ 정의: 시간 데이터 처리란 시간에 따라 변화하는 데이터를 분석하고 처리하는 과정을 의미한다. 이는 주로 시계열 분석, 시간 기반 그룹화 및 시간 데이터 시각화 등을 포함한다. ㅇ 특징: – 시간 데이터를 다룰 때 시간 순서가 중요하다. – 데이터의 주기성, 추세, 계절성을 파악할 수 있다. – 데이터의 결측치 처리 및 이상치 탐지가

시간 데이터 처리: 시즌성 제거

ㅁ 시간 데이터 처리 ㅇ 정의: 시간 데이터를 분석하고 처리하는 과정으로, 계절성, 트렌드, 노이즈 등을 제거하거나 보정하여 데이터의 본질적인 패턴을 도출하는 작업을 포함. ㅇ 특징: 시간적 순서가 중요한 데이터로, 시계열 분석 기법이나 통계적 방법론을 활용. ㅇ 적합한 경우: 계절성, 주기성 패턴이 뚜렷한 데이터(예: 매출, 기온, 트래픽 데이터 등). ㅇ 시험 함정: 시간 데이터 분석에서 계절성을

시간 데이터 처리: 리샘플링

ㅁ 시간 데이터 처리 ㅇ 정의: 시간 데이터를 특정 시간 간격으로 변환하거나 재구성하는 과정. ㅇ 특징: – 데이터의 시간 간격을 변경하여 분석에 적합한 형태로 변환. – 주로 시계열 데이터에서 사용되며, 평균, 합계, 최대값, 최소값 등의 집계 방식 활용. ㅇ 적합한 경우: – 데이터가 너무 세분화되어 있어 분석이 어려운 경우. – 특정 시간 간격으로 집계된 데이터가

데이터 통합: CDC(Change Data Capture)

ㅁ 데이터 통합 ㅇ 정의: 데이터 통합은 여러 출처에서 데이터를 수집하고 이를 일관성 있게 병합하여 하나의 통합된 데이터 세트를 생성하는 과정이다. ㅇ 특징: – 데이터의 중복을 제거하고 일관성을 유지한다. – 다양한 데이터 소스(예: 데이터베이스, 파일 시스템, API 등)에서 데이터를 가져온다. – 데이터 품질 향상을 목적으로 한다. ㅇ 적합한 경우: – 여러 시스템에서 데이터를 수집하여 분석하려는

데이터 통합: 데이터 파이프라인

ㅁ 데이터 통합 ㅇ 정의: 데이터 통합은 여러 출처에서 데이터를 수집하고 이를 일관성 있는 형식으로 결합하여 분석 가능하도록 만드는 과정이다. ㅇ 특징: – 데이터 중복 제거 및 일관성 유지가 중요하다. – 서로 다른 데이터 소스 간의 스키마 매핑 및 변환이 필요하다. – 데이터 품질 문제를 해결하여 신뢰할 수 있는 데이터를 제공한다. ㅇ 적합한 경우: –

데이터 통합: ELT

ㅁ 데이터 통합 ㅇ 정의: 서로 다른 출처의 데이터를 하나의 일관된 형식으로 결합하여 활용 가능한 상태로 만드는 과정. ㅇ 특징: – 데이터의 형식, 구조, 스키마를 통일해야 함. – 데이터 중복 제거와 일관성 확보가 중요. – 데이터 품질 향상과 분석 효율성을 높이는 데 기여. ㅇ 적합한 경우: – 여러 데이터 소스에서 데이터를 수집하여 하나의 데이터베이스로 통합해야

데이터 통합: ETL

ㅁ 데이터 통합 ㅇ 정의: 데이터 통합은 여러 출처에서 데이터를 수집하고 이를 일관된 형식으로 변환하여 하나의 시스템에 병합하는 과정이다. ㅇ 특징: – 데이터의 일관성을 유지하는 것이 핵심이다. – 데이터 중복 제거와 형식 통일이 포함된다. – 데이터 출처가 다양할수록 통합 과정이 복잡해진다. ㅇ 적합한 경우: – 여러 시스템에서 데이터를 수집해야 할 때. – 데이터 분석을 위해

데이터 거버넌스: 데이터 품질 관리

ㅁ 데이터 거버넌스 ㅇ 정의: 데이터의 수집, 저장, 처리, 활용 전 과정에서 데이터의 품질, 보안, 규정 준수를 보장하기 위한 체계적인 관리 활동. ㅇ 특징: – 데이터의 신뢰성과 일관성을 확보. – 데이터 관련 정책과 절차를 명확히 정의. – 조직 내 데이터 활용의 투명성과 책임성을 증진. ㅇ 적합한 경우: – 대규모 데이터 환경에서 데이터 품질 문제가 빈번히

데이터 거버넌스: GDPR

ㅁ 데이터 거버넌스 ㅇ 정의: 데이터의 품질, 보안, 활용성을 보장하기 위해 조직 내 데이터 관리 원칙과 정책을 수립하고 운영하는 체계. ㅇ 특징: 데이터의 일관성, 정확성, 접근 제어를 유지하며, 법적 규제와 표준을 준수하는 것이 중요함. ㅇ 적합한 경우: 대규모 데이터를 다루는 조직에서 데이터의 신뢰성과 법적 준수 여부를 보장해야 할 때. ㅇ 시험 함정: 데이터 거버넌스와 데이터