ㅁ 추적 및 재현성

ㅇ 정의:
머신러닝 실험의 파라미터, 데이터셋 버전, 모델 아키텍처, 성능 지표 등을 체계적으로 기록하고 관리하여 동일 조건에서 재실행이 가능하도록 하는 과정.

ㅇ 특징:
– 실험 로그, 메트릭, 아티팩트(모델 파일, 데이터 샘플 등)를 중앙화된 플랫폼에 저장
– 협업 환경에서 실험 결과를 시각적으로 비교 가능
– 재현성 확보를 위해 코드 버전과 환경 정보까지 기록

ㅇ 적합한 경우:
– 여러 하이퍼파라미터 조합을 실험하며 최적값을 찾는 경우
– 팀 단위로 모델 개발 시 실험 이력 공유가 필요한 경우
– 규제나 인증을 위해 모델 개발 과정의 이력을 남겨야 하는 경우

ㅇ 시험 함정:
– 단순 로그 기록과 혼동하는 경우가 있음
– 재현성 확보를 위해서는 데이터셋과 환경까지 동일해야 함을 간과

ㅇ 시험 대비 “패턴 보기” 예시:
O: “모델 학습 시 하이퍼파라미터, 데이터 버전, 코드 상태를 함께 기록하여 재현성을 높인다.”
X: “모델 학습 로그만 저장하면 완전한 재현성이 확보된다.”

================================

1. Weights & Biases

ㅇ 정의:
머신러닝 실험 관리 및 추적을 위한 SaaS 플랫폼으로, 실험 로그, 메트릭, 모델 가중치, 데이터 버전 등을 자동으로 기록하고 시각화하여 재현성과 협업을 지원.

ㅇ 특징:
– Python SDK를 통해 간단히 기존 코드에 통합 가능
– 웹 대시보드를 통한 실험 비교, 시각화, 하이퍼파라미터 최적화 지원
– 데이터셋 버전 관리(Datasets), 모델 레지스트리(Model Registry) 기능 제공
– 클라우드 및 온프레미스 환경 모두 지원

ㅇ 적합한 경우:
– 다양한 실험을 병렬로 수행하며 결과를 비교해야 하는 경우
– 여러 팀원이 동일 프로젝트에서 실험 데이터를 공유해야 하는 경우
– MLOps 파이프라인과 연동하여 지속적 학습/배포를 하는 경우

ㅇ 시험 함정:
– 단순 시각화 도구로 오해하는 경우
– 로컬 로그 저장만으로 동일 기능을 구현할 수 있다고 착각

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Weights & Biases는 실험 로그, 메트릭, 데이터 버전을 기록하여 재현성을 보장한다.”
X: “Weights & Biases는 모델 학습 속도를 향상시키는 분산 학습 프레임워크이다.”

ㅁ 추가 학습 내용

추가 학습 정리

Weights & Biases(W&B)는 실험 추적뿐만 아니라 Sweep 기능을 통해 자동 하이퍼파라미터 탐색을 지원한다. Artifact 기능을 이용하면 데이터셋과 모델 파일의 버전을 관리할 수 있다. 또한 API를 통해 Kubeflow, MLflow 등 다른 MLOps 도구와 연동이 가능하다. 조직 단위 관리, 권한 설정, 보안 기능도 포함되어 있다.

시험에서 자주 묻는 비교 포인트로는 MLflow와의 차이가 있다. MLflow는 오픈소스 기반이며 로컬 및 온프레미스 환경에 적합하다. 반면 W&B는 SaaS 중심이지만 온프레미스 옵션도 제공한다.