ㅁ 워크플로우 및 파이프라인

ㅇ 정의:
데이터 전처리, 변환, 적재 과정을 자동화하여 반복 가능하고 재현성 있는 데이터 처리 흐름을 구성하는 방식.

ㅇ 특징:
– 여러 단계의 데이터 처리 작업을 순차적 또는 병렬적으로 실행
– 데이터 품질 유지와 처리 효율성 향상
– 코드 재사용성과 유지보수 용이성 제공

ㅇ 적합한 경우:
– 대규모 데이터셋을 주기적으로 처리해야 하는 경우
– 데이터 처리 과정의 표준화와 자동화가 필요한 경우

ㅇ 시험 함정:
– 단순 스크립트 실행과 워크플로우 자동화를 혼동하는 경우
– 파이프라인과 ETL(Extract-Transform-Load) 개념을 동일시하는 오류

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “워크플로우는 데이터 처리 단계를 자동화하여 재현성을 높인다.”
– X: “워크플로우는 단일 데이터 파일을 수동으로 처리하는 방법이다.”

================================

1. Activeloop

ㅇ 정의:
대규모 머신러닝 데이터셋을 효율적으로 저장, 스트리밍, 관리할 수 있도록 지원하는 데이터 관리 플랫폼. 특히 딥러닝 모델 학습을 위한 데이터 파이프라인 최적화에 특화.

ㅇ 특징:
– 데이터셋을 클라우드 네이티브 형태로 저장 (Hub 포맷)
– 데이터 스트리밍을 통해 대용량 데이터도 메모리 부담 없이 처리 가능
– Python API와 통합되어 TensorFlow, PyTorch 등과 쉽게 연동
– 버전 관리 및 협업 기능 제공

ㅇ 적합한 경우:
– 대규모 이미지, 비디오, 시계열 데이터셋을 반복적으로 학습에 활용하는 경우
– 분산 환경에서 여러 팀원이 동일한 데이터셋을 공유/관리해야 하는 경우

ㅇ 시험 함정:
– Activeloop를 단순한 데이터 시각화 도구로 오해하는 경우
– 로컬 파일 시스템 기반 데이터 관리와 혼동하는 경우

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Activeloop는 대규모 딥러닝 데이터셋을 스트리밍 방식으로 처리할 수 있다.”
– X: “Activeloop는 데이터 전처리 없이 모델 학습을 자동으로 완료한다.”

ㅁ 추가 학습 내용

Activeloop는 오픈소스 라이브러리 ‘Hub’를 기반으로 하며, 데이터셋을 Numpy와 유사한 인터페이스로 다룰 수 있다. 데이터 버전 관리와 데이터셋 메타데이터 관리 기능을 제공하여 MLOps 측면에서 중요한 역할을 한다. 시험에서는 Activeloop와 DVC(Data Version Control), Pachyderm 등 다른 데이터 버전 관리 도구와의 차이점을 비교하는 문제가 출제될 수 있다. 특히 Activeloop는 데이터 스트리밍과 클라우드 네이티브 저장을 강조한다는 점이 핵심이다.