ㅁ 파이프라인 및 자동화

ㅇ 정의:
머신러닝 실험 과정에서 사용된 데이터셋, 하이퍼파라미터, 모델 구조, 성능 지표 등을 체계적으로 기록하고 관리하는 프로세스 또는 도구.

ㅇ 특징:
– 실험 재현성을 높이고, 팀 내 협업을 용이하게 함.
– 다양한 실험 결과를 비교 분석할 수 있음.
– MLflow, Weights & Biases(W&B), Neptune.ai 등의 도구가 대표적.
– 메타데이터와 아티팩트를 함께 저장 가능.

ㅇ 적합한 경우:
– 동일한 모델 구조에서 하이퍼파라미터 튜닝을 반복 수행하는 경우.
– 여러 데이터 버전과 모델 버전을 비교해야 하는 경우.
– 팀 단위로 실험 결과를 공유하고 분석하는 환경.

ㅇ 시험 함정:
– 단순 로그 기록과 혼동하는 경우가 있음.
– 모델 배포 자동화와 혼동하여 개념을 잘못 이해할 수 있음.
– 실험 추적은 학습 과정 관리이지, 배포 후 모니터링이 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “MLflow를 활용하여 실험별 하이퍼파라미터와 성능을 기록하는 것은 Experiment Tracking에 해당한다.”
X: “Experiment Tracking은 모델이 배포된 이후 성능을 모니터링하는 과정이다.”

ㅁ 추가 학습 내용

Experiment Tracking의 주요 학습 내용 정리

1. 주요 기능
– 실험 메타데이터 저장
– 모델 아티팩트 버전 관리
– 실험 결과 비교를 위한 시각화 기능 제공

2. 다른 MLOps 컴포넌트와의 관계
– 데이터 버전 관리(DVC)와 결합 시 완전한 재현성 확보 가능

3. 구현 시 고려사항
– 저장소 선택: 로컬 또는 클라우드
– 접근 권한 관리
– 로그 크기 관리

4. 시험 출제 포인트
– MLflow, Weights & Biases(W&B), Neptune.ai의 특징 비교
• 오픈소스 여부
• UI 제공 여부
• 클라우드 연동 방식

5. ML Experiment Tracking과 Experiment Management의 차이
– Experiment Tracking: 실험 기록 중심
– Experiment Management: 기록 + 스케줄링 + 리소스 관리 포함