AI 시스템 구축: 자동화 – MLOps
ㅁ 자동화
ㅇ 정의:
– 모델 개발부터 배포, 모니터링, 재학습까지의 전 과정을 자동화하여 운영 효율성과 품질을 높이는 접근 방식.
– DevOps 개념을 머신러닝 환경에 적용한 것.
ㅇ 특징:
– 데이터 수집, 전처리, 학습, 배포, 모니터링, 재학습 파이프라인을 자동화.
– 지속적 통합(CI)과 지속적 배포(CD) 개념을 포함.
– 모델 성능 저하 시 자동 재학습 트리거 가능.
ㅇ 적합한 경우:
– 모델 변경 주기가 짧고, 데이터가 지속적으로 유입되는 환경.
– 운영 환경에서 모델 품질을 안정적으로 유지해야 하는 경우.
ㅇ 시험 함정:
– 단순히 모델 학습 자동화만을 의미하는 것이 아님.
– 데이터 파이프라인과 모니터링 자동화까지 포함해야 MLOps라 할 수 있음.
ㅇ 시험 대비 “패턴 보기” 예시:
– O: “MLOps는 모델 개발, 배포, 모니터링, 재학습까지 자동화하는 것을 목표로 한다.”
– X: “MLOps는 모델 학습 자동화만을 의미한다.”
================================
1. MLOps
ㅇ 정의:
– Machine Learning Operations의 약자로, 머신러닝 모델의 개발, 배포, 모니터링, 유지보수를 DevOps 원칙에 따라 자동화·표준화하는 방법론.
ㅇ 특징:
– 데이터 엔지니어링, 모델 엔지니어링, 소프트웨어 엔지니어링의 융합.
– CI/CD 파이프라인과 ML 파이프라인의 결합.
– 모델 버전 관리, 실험 추적, 재현성 보장.
ㅇ 적합한 경우:
– 다수의 모델이 운영 환경에서 동시에 서비스되는 경우.
– 모델 성능 모니터링과 빠른 업데이트가 필요한 경우.
ㅇ 시험 함정:
– 단순히 ML 모델을 배포하는 절차가 아님.
– 데이터 품질 관리, 피드백 루프, 운영 모니터링이 포함되어야 함.
ㅇ 시험 대비 “패턴 보기” 예시:
– O: “MLOps는 데이터 수집에서 모델 폐기까지 전 주기를 관리한다.”
– X: “MLOps는 개발 단계에서만 적용된다.”
ㅁ 추가 학습 내용
MLOps 추가 학습 정리
MLOps 3단계 성숙도 모델(Level 0~2)
Level 0: 수동 프로세스 단계. 모델 개발, 배포, 모니터링이 수작업으로 이루어짐.
Level 1: 자동화된 ML 파이프라인 단계. 데이터 전처리, 학습, 배포 과정이 자동화됨.
Level 2: CI/CD와 자동 모니터링 결합 단계. 지속적 통합·배포와 운영 중 모델 상태 자동 모니터링이 결합됨.
주요 오픈소스 도구
Kubeflow: Kubernetes 기반 ML 워크플로우 관리.
MLflow: 실험 추적, 모델 관리, 배포 지원.
TFX(TensorFlow Extended): TensorFlow 기반 ML 파이프라인 구성.
Airflow: 워크플로우 스케줄링 및 관리.
모델 드리프트와 데이터 드리프트
모델 드리프트: 시간 경과에 따라 모델 성능이 저하되는 현상.
데이터 드리프트: 입력 데이터의 통계적 특성이 변하는 현상.
감지 방법: 성능 모니터링, 통계 분석, 분포 비교 등.
피드백 루프 설계
운영 데이터 분석을 기반으로 재학습 주기를 설정.
변화 감지 시 자동 재학습 트리거 가능.
보안 및 규제 준수 요소
데이터 프라이버시 보호.
모델 설명 가능성 확보.
관련 법규 및 표준 준수.
DevOps와 MLOps의 차이점
DevOps: 코드 중심의 지속적 통합과 배포 관리.
MLOps: 데이터와 모델 중심 관리 포함, 데이터 품질, 모델 성능, 드리프트 대응까지 포함.
시험 오답 패턴 주의
MLOps를 단순 자동화 도구로 한정하는 것은 오답. MLOps는 데이터, 모델, 파이프라인, 모니터링, 재학습 등 전 과정 관리가 포함됨.