ㅁ 추적 및 재현성

ㅇ 정의:
머신러닝/딥러닝 모델 개발 과정에서 실험의 파라미터, 데이터셋 버전, 코드, 환경설정, 결과 등을 기록하여 동일 조건에서 재실행이 가능하도록 하는 관리 활동.

ㅇ 특징:
– 실험의 입력(데이터, 코드, 하이퍼파라미터)과 출력(모델 가중치, 성능 지표)을 모두 기록
– 버전 관리 도구(Git) 및 실험 관리 도구(MLflow, Weights & Biases 등)와 연계 가능
– 협업 시 실험 중복 방지 및 성능 비교 용이

ㅇ 적합한 경우:
– 여러 모델 구조와 하이퍼파라미터를 조합하여 비교 실험이 필요한 경우
– 연구 결과를 재현해야 하는 논문 작성이나 인증 심사 과정

ㅇ 시험 함정:
– 단순히 모델 학습 로그를 저장하는 것만으로는 실험 추적이 완전하지 않음 (환경, 데이터 버전 포함 필요)
– 재현성과 추적성은 동일 개념이 아님: 추적은 기록, 재현성은 동일 결과 재생산

ㅇ 시험 대비 “패턴 보기” 예시:
O: “실험 추적은 데이터 버전과 코드, 하이퍼파라미터까지 포함하여 기록한다.”
X: “실험 추적은 모델 성능 지표만 기록하면 충분하다.”

ㅁ 추가 학습 내용

실험 추적에서 재현성 확보를 위해 필요한 구성 요소
– 동일한 하드웨어 환경
– 동일한 소프트웨어 환경
– 라이브러리 버전 고정
– 난수 시드 고정

주요 실험 추적 도구와 기능
1. MLflow
– 실험 기록, 시각화, 모델 관리
– 장점: 오픈소스, 다양한 언어 지원, 비교적 간단한 설정
– 단점: UI 기능 제한, 고급 분석 기능 부족
2. Weights & Biases (W&B)
– 실험 기록, 실시간 시각화, 협업 기능
– 장점: 직관적인 대시보드, 강력한 협업 기능
– 단점: 인터넷 연결 필수, 일부 기능 유료
3. Comet
– 실험 기록, 시각화, 실험 비교 리포트
– 장점: 상세한 메타데이터 관리, 다양한 통합 기능
– 단점: 무료 버전 제한, 설정 복잡할 수 있음

추가로 알아둘 기능
– 데이터 버전 관리(DVC) 연계
– 파이프라인 자동화
– 메타데이터 관리
– 실험 결과 비교 리포트 생성