ㅁ 추적 및 재현성

ㅇ 정의:
실험 추적 및 재현성은 AI 모델 개발 과정에서 실험 데이터를 체계적으로 기록하고, 동일한 조건에서 다시 실행하여 결과를 재현할 수 있도록 하는 과정을 의미한다.

ㅇ 특징:
– 실험 과정, 파라미터, 결과 등을 체계적으로 관리.
– 실험 간 비교와 분석을 용이하게 함.
– 팀 협업 시 실험 기록 공유 가능.

ㅇ 적합한 경우:
– 다수의 실험을 통해 최적의 모델을 탐색해야 할 때.
– 팀 간 협업으로 실험 기록의 일관성이 필요할 때.
– 실험 결과의 신뢰성을 검증해야 할 때.

ㅇ 시험 함정:
– 실험 기록의 세부 사항을 누락하거나 부정확하게 기록할 경우.
– 재현성의 의미를 단순히 코드 실행으로만 한정하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
1. 실험 추적은 동일한 조건에서 결과를 반복적으로 얻는 것을 보장한다. (O)
2. 실험 추적은 데이터 저장 공간의 효율성을 높이기 위한 기술이다. (X)
3. 재현성은 실험 기록 없이도 결과를 동일하게 얻을 수 있는 능력을 말한다. (X)

================================

1. 실험 추적

ㅇ 정의:
실험 추적은 AI 개발 과정에서 실험의 파라미터, 데이터셋, 코드 버전, 결과 등을 체계적으로 기록하고 관리하는 것을 말한다.

ㅇ 특징:
– 실험의 체계적인 기록 유지.
– 다양한 실험 간 비교 및 분석 가능.
– 실험 결과의 신뢰성 확보.

ㅇ 적합한 경우:
– 여러 실험을 병렬적으로 수행하며 최적화가 필요한 상황.
– 팀 내에서 실험 기록을 공유하고 협업해야 하는 경우.

ㅇ 시험 함정:
– 실험 추적이 단순히 로그를 저장하는 것으로 오해되는 경우.
– 실험 추적 도구를 사용하지 않고 수작업으로 데이터를 관리하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
1. 실험 추적은 실험 파라미터와 결과를 체계적으로 기록하여 실험 간 비교를 가능하게 한다. (O)
2. 실험 추적은 데이터 전처리 과정에서 발생하는 오류를 자동으로 수정한다. (X)
3. 실험 추적은 실험 기록을 통해 재현성을 보장한다. (O)

ㅁ 추가 학습 내용

실험 추적에 대한 학습 내용을 다음과 같이 정리할 수 있습니다:

1. 데이터 버전 관리 도구 활용 방법:
– DVC(Data Version Control):
– 데이터와 코드의 버전을 함께 관리하여 실험 재현성을 높임.
– 데이터 세트와 모델 파일을 원격 저장소에 저장하고 추적 가능.
– dvc init 명령어로 프로젝트 초기화, dvc add로 데이터 파일 추적, dvc repro로 파이프라인 재실행.
– MLflow:
– 실험의 매개변수, 메트릭, 코드, 아티팩트를 기록하고 시각화.
– mlflow start run으로 실험 시작, log_param과 log_metric으로 매개변수 및 메트릭 기록.
– UI를 통해 실험 결과 비교 및 관리.

2. 실험 재현성을 높이기 위한 베스트 프랙티스:
– 시드 값 고정:
– 난수 생성기의 초기값을 고정하여 동일한 입력에 대해 항상 동일한 결과가 나오도록 보장.
– 예: Python에서는 random.seed()와 numpy.random.seed() 사용.
– 환경 설정 기록:
– 사용한 라이브러리와 버전을 명시적으로 기록.
– 예: requirements.txt 또는 환경 파일(conda 환경 yml) 생성.
– 코드 및 데이터 관리:
– 코드와 데이터를 버전 관리(Git, DVC 등)하여 변경 사항 추적.
– 실험 설정 자동화:
– 설정 파일(config file) 또는 명령줄 매개변수로 실험 설정을 관리.
– 로그 기록:
– 실험 실행 중 발생하는 로그를 저장하여 문제 발생 시 원인을 분석.

이 내용을 바탕으로 실험 추적과 재현성에 대해 깊이 있는 학습을 진행하면 시험 대비에 효과적일 것입니다.