ㅁ 데이터 거버넌스

ㅇ 정의:
데이터의 품질, 보안, 정책 준수를 보장하기 위해 데이터 관리와 관련된 정책과 절차를 수립하고 실행하는 체계.

ㅇ 특징:
– 데이터의 일관성과 신뢰성을 확보함.
– 데이터 관리의 책임 소재를 명확히 함.
– 데이터 보안 및 규제 준수에 중점을 둠.

ㅇ 적합한 경우:
– 대규모 데이터 환경에서 데이터 품질과 보안이 중요한 경우.
– 데이터 규제 준수가 필수인 금융, 의료 등 산업.

ㅇ 시험 함정:
– 데이터 거버넌스와 데이터 관리(Data Management)를 혼동하는 경우.
– 데이터 거버넌스가 기술적 구현만을 의미한다고 오해하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
1. 데이터 거버넌스는 데이터 보안과 품질을 보장하기 위한 정책과 절차를 포함한다. (O)
2. 데이터 거버넌스는 데이터베이스 설계만을 의미한다. (X)

================================

1. 데이터 라인리지

ㅇ 정의:
데이터가 생성되고 변환되어 최종적으로 활용되기까지의 전 과정을 추적하고 기록하는 메타데이터.

ㅇ 특징:
– 데이터 흐름과 변환 과정을 시각화 가능.
– 데이터 품질 문제의 원인을 신속히 파악 가능.
– 규제 준수를 위해 데이터의 출처와 변화를 명확히 함.

ㅇ 적합한 경우:
– 데이터 분석 결과의 신뢰성을 보장해야 하는 경우.
– 데이터 규제 준수가 중요한 금융, 의료 분야.

ㅇ 시험 함정:
– 데이터 라인리지를 단순히 데이터의 출처를 기록하는 것으로만 이해하는 경우.
– 데이터 라인리지가 데이터 품질 문제를 자동으로 해결한다고 오해하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
1. 데이터 라인리지는 데이터의 생성, 변환, 활용 과정을 추적하는 데 유용하다. (O)
2. 데이터 라인리지는 데이터 품질 문제를 자동으로 해결한다. (X)

ㅁ 추가 학습 내용

데이터 라인리지와 관련하여 학습해야 할 중요한 개념은 다음과 같이 정리할 수 있습니다:

1. 데이터 라인리지의 유형:
– 물리적 라인리지(Physical Lineage): 데이터가 저장되는 실제 위치와 관련된 정보를 다룹니다. 예를 들어, 데이터베이스 테이블이나 파일 시스템상의 데이터 경로를 추적하는 것이 포함됩니다.
– 논리적 라인리지(Logical Lineage): 데이터가 변환되고 처리되는 과정과 비즈니스 규칙의 흐름을 다룹니다. 데이터가 어떻게 변형되고, 어떤 규칙에 따라 처리되었는지 파악하는 것이 중요합니다.

2. 데이터 라인리지 도구:
– Apache Atlas, Talend, Informatica와 같은 도구들은 데이터 라인리지를 추적하고 시각화하는 데 유용합니다.
– 이러한 도구들을 활용하여 데이터 흐름을 자동으로 문서화하고, 데이터의 출처와 변환 과정을 명확히 이해할 수 있습니다.
– 각 도구의 주요 기능과 사용 사례를 기본적으로 이해하는 것이 필요합니다.

3. 데이터 라인리지와 데이터 계보(Data Provenance)의 차이점:
– 데이터 계보는 데이터가 생성된 역사적 맥락과 관련된 정보를 제공합니다. 예를 들어, 데이터가 어떤 소스에서 생성되었는지, 생성 시점은 언제인지 등을 포함합니다.
– 데이터 라인리지는 데이터가 시스템 내에서 이동하고 변환되는 흐름을 추적하는 데 초점을 맞춥니다.
– 두 개념은 상호 보완적이며, 데이터의 신뢰성과 투명성을 확보하는 데 중요한 역할을 합니다.

이 세 가지 주제를 중심으로 학습하면 데이터 라인리지에 대한 심층적인 이해를 얻을 수 있습니다.