ㅁ 플랫폼

1. Weights & Biases

ㅇ 정의:
머신러닝 실험을 추적, 시각화, 협업할 수 있는 클라우드 기반 MLOps 도구.

ㅇ 특징:
– 실험 파라미터, 메트릭, 모델 아티팩트 자동 로깅
– 대시보드 기반 실시간 시각화
– 팀 단위 협업 기능 및 프로젝트 관리 지원
– 다양한 딥러닝 프레임워크(Pytorch, TensorFlow 등)와 연동 용이

ㅇ 적합한 경우:
– 실험이 많고 하이퍼파라미터 튜닝을 자주 하는 프로젝트
– 팀 단위로 실험 이력과 결과를 공유해야 하는 경우

ㅇ 시험 함정:
– 단순 로컬 로그 저장 도구로 오인하기 쉬움
– GitHub Actions와 혼동하는 경우 있음

ㅇ 시험 대비 “패턴 보기” 예시:
O: “실험 메트릭 실시간 시각화 및 협업 지원”
X: “모델 서빙 전용 플랫폼”

2. MLflow

ㅇ 정의:
머신러닝 라이프사이클 전체(실험 추적, 모델 패키징, 배포)를 관리하는 오픈소스 플랫폼.

ㅇ 특징:
– Tracking, Projects, Models, Registry 네 가지 주요 컴포넌트 제공
– 로컬, 클라우드, 하이브리드 환경 지원
– 다양한 언어(Python, R, Java)와 호환
– 모델 버전 관리 및 재현성 보장

ㅇ 적합한 경우:
– 모델 개발부터 배포까지 일관된 관리가 필요한 경우
– 여러 언어와 프레임워크 혼합 환경

ㅇ 시험 함정:
– 단순히 실험 추적만 가능하다고 오인
– 상용 서비스로만 존재한다고 착각

ㅇ 시험 대비 “패턴 보기” 예시:
O: “모델 버전 관리와 배포 지원 기능 포함”
X: “TensorFlow 전용 실험 관리 툴”

3. Comet.ml

ㅇ 정의:
머신러닝 실험 관리, 협업, 모델 최적화를 지원하는 SaaS 기반 플랫폼.

ㅇ 특징:
– 코드, 데이터셋, 메트릭, 시각화 결과 통합 관리
– 실험 비교 및 하이퍼파라미터 최적화 기능 제공
– API 기반 자동 로깅 및 실시간 대시보드
– 온프레미스 및 클라우드 모두 지원

ㅇ 적합한 경우:
– 빠른 실험 반복과 성능 비교가 필요한 경우
– 데이터 과학자와 엔지니어 간 협업이 중요한 프로젝트

ㅇ 시험 함정:
– 단순 시각화 도구로만 오해
– 데이터 전처리 전용 툴로 착각

ㅇ 시험 대비 “패턴 보기” 예시:
O: “실험 비교 및 하이퍼파라미터 최적화 지원”
X: “데이터 수집 전용 플랫폼”

ㅁ 추가 학습 내용

학습 정리

실험 관리 플랫폼은 MLOps의 일부로서 재현성, 협업, 자동화를 핵심 가치로 한다.
대표적인 플랫폼으로 MLflow, Weights & Biases(W&B), Comet.ml 등이 있으며, 시험에서는 각 플랫폼의 특징과 차이점을 비교하는 문제가 자주 출제된다.

주요 비교 포인트
1. 제공 형태
– MLflow: 오픈소스, 온프레미스 및 클라우드 모두 가능
– W&B: SaaS 중심, 일부 온프레미스 지원
– Comet.ml: SaaS 중심, 일부 온프레미스 지원

2. 구성 요소 명칭 (MLflow의 4대 컴포넌트)
– Tracking: 실험 기록 및 메트릭/파라미터 관리
– Projects: 재현 가능한 코드 패키징
– Models: 모델 포맷 관리 및 배포 지원
– Registry: 모델 버전 관리 및 승인 워크플로우

3. 지원 환경
– 클라우드 지원 여부
– 온프레미스 설치 가능 여부

4. API 연동 방식
– Python, R, REST API 지원 여부
– SDK 제공 범위

5. 지원 프레임워크 범위
– TensorFlow, PyTorch, Scikit-learn 등 지원 여부

6. 하이퍼파라미터 최적화 지원 여부
– 내장 기능 또는 외부 라이브러리 연동 가능 여부

7. 모델 레지스트리 기능 유무
– 모델 버전 관리, 승인, 배포 파이프라인과의 연계 여부

시험 대비 체크리스트

[ ] 실험 관리 플랫폼이 MLOps에서 가지는 3대 핵심 가치(재현성, 협업, 자동화)를 설명할 수 있는가?
[ ] MLflow, W&B, Comet.ml의 제공 형태와 주요 차이점을 구분할 수 있는가?
[ ] MLflow의 4대 컴포넌트를 정확히 명칭과 기능까지 설명할 수 있는가?
[ ] 각 플랫폼의 클라우드/온프레미스 지원 여부를 구분할 수 있는가?
[ ] 각 플랫폼이 제공하는 API 연동 방식과 지원 언어를 기억하고 있는가?
[ ] 지원하는 머신러닝/딥러닝 프레임워크 범위를 비교할 수 있는가?
[ ] 하이퍼파라미터 최적화 지원 여부를 구분할 수 있는가?
[ ] 모델 레지스트리 기능 유무와 그 역할을 설명할 수 있는가?
[ ] 표 형태로 각 플랫폼의 특징을 정리하여 암기했는가?