ㅁ 워크플로우 관리

ㅇ 정의:
데이터 처리 및 분석 파이프라인의 실행 순서를 자동화·관리하는 프로세스에서 지속적 통합(CI)과 지속적 배포(CD) 개념을 데이터 환경에 적용한 방식.

ㅇ 특징:
– 데이터 파이프라인 코드, 스크립트, 모델 등을 버전 관리 시스템(Git 등)과 연계.
– 데이터 스키마 변경, 모델 업데이트 시 자동 빌드·테스트·배포.
– Jenkins, GitLab CI, GitHub Actions, Airflow 등과 결합 가능.
– 데이터 품질 검사 및 테스트 자동화 포함.

ㅇ 적합한 경우:
– 데이터 분석·머신러닝 모델을 빈번히 업데이트해야 하는 환경.
– 데이터 엔지니어, 데이터 사이언티스트, MLOps 팀 간 협업이 필요한 경우.
– 운영 환경에 빠르고 안정적으로 데이터 파이프라인을 배포해야 하는 경우.

ㅇ 시험 함정:
– CI/CD는 소프트웨어 개발에만 적용된다고 한정하는 경우 (X)
– 데이터 환경에서 CI/CD는 데이터 품질 검증과 모델 성능 테스트를 포함해야 함 (O)
– CD 단계에서 데이터 적재 자동화는 포함되지 않는다 (X)

ㅇ 시험 대비 “패턴 보기” 예시:
– “데이터 파이프라인에서 CI/CD는 코드 변경 시 자동 테스트와 배포를 가능하게 한다.” (O)
– “CI/CD는 데이터 분석 환경에서는 적용할 수 없다.” (X)
– “데이터 CI/CD는 데이터 품질 검사 단계를 포함할 수 있다.” (O)

ㅁ 추가 학습 내용

CI/CD for Data 학습 정리

1. 데이터 버전 관리
– DVC, Delta Lake 등을 활용하여 데이터셋의 변경 이력과 버전을 관리
– 재현성과 협업을 위해 필수적인 요소

2. 테스트 데이터셋 자동 생성
– 파이프라인 실행 시 자동으로 테스트용 데이터셋을 생성
– 데이터 품질 및 모델 검증에 활용

3. 데이터 드리프트 감지
– 운영 환경에서 데이터 분포가 학습 시점과 달라지는 현상 감지
– 모델 성능 저하를 예방하기 위한 모니터링 필요

4. ML 모델 재학습 트리거링
– 데이터 드리프트나 성능 저하 감지 시 자동으로 재학습 파이프라인 실행
– 지속적인 모델 성능 유지

5. 환경별 데이터 파이프라인 배포 전략
– 개발, 스테이징, 운영 환경에 맞춘 데이터 파이프라인 분리 배포
– 환경 간 데이터 및 설정 차이를 고려한 관리 필요

6. 데이터 보안과 컴플라이언스 검증
– 접근 제어, 민감정보 마스킹 등 데이터 보안 절차 포함
– GDPR 등 규제 준수 여부를 CI/CD 파이프라인에서 자동 검증

7. CI와 CD의 차이
– CI(Continuous Integration): 코드 및 데이터 변경 사항을 지속적으로 통합하고 테스트
– CD(Continuous Delivery/Deployment): 변경 사항을 자동으로 배포하는 단계

8. 데이터 파이프라인 적용 시나리오
– 데이터 수집, 전처리, 모델 학습, 배포, 모니터링 전 과정에 CI/CD 적용 가능

9. 전통적 소프트웨어 CI/CD와의 차이점
– 데이터 품질 검증 및 모델 성능 검증이 필수적으로 포함됨
– 코드 변경뿐 아니라 데이터 변경과 모델 변경을 함께 관리해야 함