ㅁ 데이터 통합

ㅇ 정의:
서로 다른 출처의 데이터를 하나의 일관된 형식으로 결합하여 활용 가능한 상태로 만드는 과정.

ㅇ 특징:
– 데이터의 형식, 구조, 스키마를 통일해야 함.
– 데이터 중복 제거와 일관성 확보가 중요.
– 데이터 품질 향상과 분석 효율성을 높이는 데 기여.

ㅇ 적합한 경우:
– 여러 데이터 소스에서 데이터를 수집하여 하나의 데이터베이스로 통합해야 할 때.
– 데이터 분석 및 머신러닝 모델링을 위해 정제된 데이터가 필요한 경우.

ㅇ 시험 함정:
– 데이터 통합과 데이터 변환의 차이를 혼동.
– 데이터 중복 제거 과정에서 중요한 데이터를 실수로 삭제할 위험.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 데이터 통합은 다양한 출처의 데이터를 하나의 일관된 형식으로 결합하는 것이다.
X: 데이터 통합은 데이터의 분석 결과를 시각화하는 과정이다.

================================

1. ELT

ㅇ 정의:
데이터를 추출(Extract), 로드(Load)한 후 변환(Transform)하는 데이터 처리 방식.

ㅇ 특징:
– 원시 데이터를 데이터 웨어하우스에 먼저 로드한 후 분석 요구에 따라 변환 수행.
– 대규모 데이터 처리에 적합하며, 클라우드 환경에서 주로 사용됨.
– ETL 방식과 비교하여 변환 작업이 나중에 이루어짐.

ㅇ 적합한 경우:
– 클라우드 기반 데이터 웨어하우스를 사용하는 경우.
– 비정형 데이터나 대규모 데이터를 처리해야 하는 상황.

ㅇ 시험 함정:
– ELT와 ETL의 순서 차이를 혼동할 가능성.
– 데이터 로드 후 변환의 유연성을 간과.

ㅇ 시험 대비 “패턴 보기” 예시:
O: ELT는 데이터를 먼저 로드한 후 변환하는 방식을 의미한다.
X: ELT는 데이터를 로드하기 전에 변환 과정을 거친다.

ㅁ 추가 학습 내용

1. ELT와 ETL의 주요 차이점에 대한 비교 설명:
– ETL(Extract, Transform, Load)은 데이터를 추출(Extract)한 후, 데이터 변환(Transform) 작업을 수행하고, 변환된 데이터를 대상 시스템에 적재(Load)하는 방식입니다. 데이터 변환 작업이 데이터 웨어하우스 외부에서 이루어지며, 대개 별도의 ETL 도구를 통해 처리됩니다.
– ELT(Extract, Load, Transform)는 데이터를 추출(Extract)한 후, 변환 작업 없이 데이터를 먼저 대상 시스템에 적재(Load)한 뒤, 데이터 웨어하우스 내에서 변환(Transform) 작업을 수행하는 방식입니다. 데이터 웨어하우스의 강력한 처리 능력을 활용하여 변환 작업을 수행합니다.
– 주요 차이점:
– 데이터 변환 위치: ETL은 외부에서 변환, ELT는 데이터 웨어하우스 내에서 변환.
– 처리 방식: ETL은 변환 후 적재, ELT는 적재 후 변환.
– 사용 사례: ETL은 전통적인 온프레미스 환경에 적합, ELT는 클라우드 기반 데이터 웨어하우스와 잘 맞음.

2. ELT 방식이 클라우드 환경에서 선호되는 이유와 관련 기술 설명:
– ELT 방식은 클라우드 환경에서 데이터 웨어하우스의 컴퓨팅 리소스를 활용하여 대규모 데이터 처리 작업을 수행할 수 있기 때문에 선호됩니다. 클라우드 데이터 웨어하우스는 확장성과 유연성이 뛰어나며, 병렬 처리를 통해 대량의 데이터를 빠르게 처리할 수 있습니다.
– 클라우드 기반 데이터 웨어하우스 솔루션인 Snowflake와 BigQuery는 ELT 방식을 지원하는 대표적인 기술입니다.
– Snowflake: 클라우드 네이티브 데이터 웨어하우스로, 스토리지와 컴퓨팅 리소스를 분리하여 확장성과 비용 효율성을 제공합니다. SQL을 사용하여 데이터 변환 작업을 수행하며, 다양한 데이터 형식을 지원합니다.
– BigQuery: Google Cloud가 제공하는 서버리스 데이터 웨어하우스로, 대규모 데이터 분석 작업을 빠르게 처리할 수 있습니다. SQL 기반의 쿼리 언어를 사용하며, 자동 확장 기능을 통해 대용량 데이터 처리에 적합합니다.

3. ELT 방식에서 데이터 변환 작업 시 사용하는 SQL 기반 처리의 장점과 단점:
– 장점:
– 데이터 웨어하우스의 병렬 처리와 컴퓨팅 성능을 활용하여 대규모 데이터 변환 작업을 빠르게 수행할 수 있습니다.
– SQL은 데이터 쿼리와 변환을 위한 표준 언어로 널리 사용되며, 학습 곡선이 비교적 낮아 데이터 엔지니어와 분석가가 쉽게 사용할 수 있습니다.
– 추가적인 ETL 도구나 서버를 사용하지 않아도 되므로 운영 복잡성이 감소하고 비용 효율성이 높아질 수 있습니다.
– 클라우드 데이터 웨어하우스의 확장성을 활용하여 데이터 처리량 증가에 유연하게 대응할 수 있습니다.

– 단점:
– 복잡한 데이터 변환 로직을 SQL로 구현하는 경우, 코드의 가독성과 유지보수성이 떨어질 수 있습니다.
– SQL은 절차적 프로그래밍 언어가 아니므로, 복잡한 데이터 처리 작업을 수행하는 데 한계가 있을 수 있습니다.
– 데이터 웨어하우스의 컴퓨팅 리소스를 과도하게 사용하면 비용이 증가할 수 있습니다.
– 데이터 웨어하우스의 성능에 의존하기 때문에, 성능 최적화가 제대로 이루어지지 않으면 변환 작업이 느려질 수 있습니다.