ㅁ 워크플로우 및 파이프라인

ㅇ 정의:
– 워크플로우 및 파이프라인은 데이터 처리 과정을 단계별로 정의하고 실행하는 시스템으로, 작업의 자동화와 효율성을 높이는 데 사용됩니다.

ㅇ 특징:
– 데이터 처리 과정의 시각화 및 추적 가능.
– 재사용 가능한 작업 정의로 코드 유지보수 용이.
– 병렬 처리 및 오류 복구 지원.

ㅇ 적합한 경우:
– 복잡한 데이터 처리 작업이 반복적으로 수행되는 경우.
– 데이터 처리의 의존성 관리가 필요한 경우.

ㅇ 시험 함정:
– 워크플로우와 파이프라인의 차이를 혼동할 수 있음.
– 특정 도구의 기능과 워크플로우 개념을 혼용할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 워크플로우는 데이터 처리 작업의 순서를 정의하고 실행하는 데 사용된다.
– X: 파이프라인은 데이터 시각화 도구로만 사용된다.

================================

1. Dagster

ㅇ 정의:
– Dagster는 워크플로우 및 데이터 파이프라인을 설계, 실행, 모니터링하는 오픈 소스 도구로, 데이터 엔지니어링 및 분석 작업을 지원합니다.

ㅇ 특징:
– 파이프라인 구성 요소를 재사용 가능하게 설계.
– Python 기반으로 사용자 정의 및 확장성 용이.
– 데이터 품질 체크 및 메타데이터 관리 기능 제공.

ㅇ 적합한 경우:
– 데이터 품질 관리와 반복 작업의 자동화가 필요한 경우.
– Python 환경에서 데이터 엔지니어링 작업을 수행하는 경우.

ㅇ 시험 함정:
– Dagster를 단순한 스케줄링 도구로만 이해할 수 있음.
– Python 외의 언어에서 작동한다고 오해할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Dagster는 데이터 품질 체크 기능을 제공하며 Python 기반으로 설계되었다.
– X: Dagster는 데이터베이스 관리 도구이다.

ㅁ 추가 학습 내용

Dagster, Apache Airflow, Prefect는 모두 워크플로우 관리 및 데이터 파이프라인 구축에 사용되는 도구로, 각각 고유한 특징과 강점을 가지고 있다. 이들 도구를 비교하여 이해하는 것은 시험 대비에 매우 유용하다.

1. **Apache Airflow**:
– DAG(Directed Acyclic Graph) 기반으로 작업을 정의하며, 각 작업 간의 의존성을 명확히 표현할 수 있다.
– 작업 스케줄링 및 실행에 강점이 있으며, 복잡한 워크플로우를 관리하기에 적합하다.
– 웹 UI를 통해 워크플로우 상태를 시각적으로 확인하고 관리할 수 있다.
– 그러나 코드 기반 설정이 다소 복잡할 수 있고, 데이터 품질 체크와 메타데이터 관리 기능은 상대적으로 제한적이다.

2. **Prefect**:
– 코드 중심의 워크플로우 정의를 제공하며, Python을 사용하여 워크플로우를 직관적으로 작성할 수 있다.
– 유연한 에러 핸들링 기능을 갖추고 있어, 작업 실패 시 복구 및 재시도가 용이하다.
– Prefect의 “Flow”와 “Task” 개념은 사용자에게 간단하고 직관적인 워크플로우 구성 방식을 제공한다.
– 클라우드 기반 관리 옵션을 통해 워크플로우를 쉽게 모니터링할 수 있지만, 데이터 품질 체크와 메타데이터 관리 기능은 Dagster만큼 강력하지 않다.

3. **Dagster**:
– 데이터 품질 체크와 메타데이터 관리 기능이 뛰어나며, 데이터 중심 워크플로우를 설계하는 데 특화되어 있다.
– “Solid”와 “Pipeline” 개념을 사용하여 작업을 정의하며, 각 단계에서 데이터의 상태와 품질을 추적할 수 있다.
– 개발자 친화적인 인터페이스와 풍부한 도구 지원을 통해 워크플로우 설계 및 유지보수가 용이하다.
– Dagster는 데이터 엔지니어링뿐만 아니라 데이터 과학 및 머신러닝 워크플로우에도 적합하며, 다른 도구에 비해 더 세부적인 데이터 관리 기능을 제공한다.

이 비교를 통해 Apache Airflow는 스케줄링과 DAG 관리에 강점을 가지고 있고, Prefect는 코드 중심의 유연성과 에러 핸들링에 초점을 맞추고 있으며, Dagster는 데이터 품질과 메타데이터 관리에서 차별화된 기능을 제공한다는 점을 알 수 있다. 각 도구를 적절히 선택하는 것은 프로젝트의 요구사항과 워크플로우의 복잡성에 따라 달라질 것이다.