ㅁ 운영 전략

ㅇ 정의:
모델 개발 및 배포 과정에서 여러 버전의 모델과 관련 메타데이터를 체계적으로 관리하고, 운영 환경에서의 성능과 안정성을 보장하기 위한 전략.

ㅇ 특징:
– 모델의 라이프사이클(개발, 검증, 배포, 폐기) 전 단계 관리
– 재현성과 추적성을 확보하기 위한 메타데이터 저장
– 운영 환경에서의 품질 유지와 신속한 롤백 가능

ㅇ 적합한 경우:
– 여러 팀에서 동시에 모델을 개발하는 환경
– 규제 준수가 필요한 산업(금융, 의료 등)

ㅇ 시험 함정:
– 모델 저장소와 코드 저장소의 개념 혼동
– 단순 파일 저장과 Model Registry의 차이를 묻는 문제

ㅇ 시험 대비 “패턴 보기” 예시:
O: “운영 환경에서 모델 버전을 추적하고 롤백할 수 있도록 관리하는 전략을 의미한다.”
X: “모델을 학습시키는 알고리즘을 선택하는 과정이다.”

================================

1. Model Registry

ㅇ 정의:
모델과 해당 버전, 메타데이터, 성능 지표 등을 중앙에서 관리하는 시스템 또는 저장소.

ㅇ 특징:
– 모델 아티팩트와 메타데이터를 함께 저장
– 승인된 모델만 배포 가능하도록 권한 관리
– CI/CD 파이프라인과 연계 가능

ㅇ 적합한 경우:
– 여러 버전의 모델을 운영 환경에서 관리해야 하는 경우
– 모델 재현성과 감사 추적이 필요한 경우

ㅇ 시험 함정:
– 단순한 파일 서버와 구분하지 못하는 경우
– 데이터셋 버전 관리와 혼동

ㅇ 시험 대비 “패턴 보기” 예시:
O: “모델의 버전과 성능 정보를 중앙에서 관리하는 저장소를 의미한다.”
X: “모델 학습 속도를 향상시키는 하드웨어 장치이다.”

================================

2. Version Control

ㅇ 정의:
모델, 데이터, 코드의 변경 이력을 기록하고 특정 시점으로 복원할 수 있도록 하는 시스템.

ㅇ 특징:
– Git 기반 또는 데이터/모델 특화 버전 관리 도구 사용
– 변경 이력 추적 및 협업 지원
– 모델과 데이터셋의 동기화 관리

ㅇ 적합한 경우:
– 팀 단위 협업이 필요한 모델 개발 프로젝트
– 규제 산업에서 변경 이력 보관이 필수인 경우

ㅇ 시험 함정:
– 코드 버전 관리와 모델 버전 관리의 차이를 모르는 경우
– 데이터 버전 관리 도구와 혼동

ㅇ 시험 대비 “패턴 보기” 예시:
O: “모델과 데이터 변경 이력을 추적하여 특정 버전으로 복원할 수 있게 한다.”
X: “모델의 정확도를 높이기 위해 하이퍼파라미터를 조정하는 과정이다.”

================================

3. Ensemble Management

ㅇ 정의:
여러 개의 모델을 조합하여 단일 예측 결과를 생성하고, 이를 운영 환경에서 효율적으로 관리하는 전략.

ㅇ 특징:
– 배깅, 부스팅, 스태킹 등 다양한 앙상블 기법 포함
– 개별 모델의 강점을 결합하여 성능 향상
– 운영 환경에서 모델 간 가중치 조정 가능

ㅇ 적합한 경우:
– 단일 모델의 성능이 한계에 도달한 경우
– 다양한 데이터 패턴을 포괄해야 하는 경우

ㅇ 시험 함정:
– 앙상블 기법과 하이퍼파라미터 튜닝 혼동
– 모델 병렬 처리와 단순 비교하는 오류

ㅇ 시험 대비 “패턴 보기” 예시:
O: “여러 모델의 예측을 결합하여 더 나은 성능을 내는 방법을 운영 환경에서 관리하는 것이다.”
X: “하나의 모델을 여러 번 학습시켜 평균을 내는 과정이다.”

ㅁ 추가 학습 내용

Model Registry 비교
– MLflow Model Registry: 오픈소스, 다양한 언어와 프레임워크 지원, 로컬 및 클라우드 환경 모두 가능, 실험 추적과 통합 용이
– SageMaker Model Registry: AWS 통합, SageMaker 파이프라인과 연계, 권한 관리와 배포 자동화 강점
– Vertex AI Model Registry: GCP 통합, Vertex AI 파이프라인과 연계, AutoML 및 BigQuery 등과 연동 용이

Version Control
– DVC(Data Version Control): Git 기반 메타데이터 관리, 대용량 데이터/모델 파일은 외부 스토리지에 저장, 데이터와 코드 동기화 용이
– Git LFS(Git Large File Storage): Git 저장소에서 대형 바이너리 파일 추적, Git 워크플로우와 통합, 파일 자체는 별도 LFS 서버에 저장
– 모델 파일 버전 관리 시 주의사항: 대용량 파일 저장 시 스토리지 비용 증가 가능, 네트워크 전송 속도와 빌드 시간 고려 필요

Ensemble Management
– 배깅(Bagging): 데이터 샘플을 부트스트랩하여 병렬 학습, 분산과 과적합 감소에 효과적
– 부스팅(Boosting): 순차 학습, 이전 모델의 오차를 보완하는 방식, 높은 예측 성능 가능하지만 과적합 위험 존재
– 스태킹(Stacking): 서로 다른 모델의 예측 결과를 메타 모델이 최종 결합, 메타 모델이 조합 규칙을 학습
– 실시간 앙상블 처리: API Gateway 기반 라우팅 등으로 요청을 여러 모델에 분산 처리 후 결과 결합

운영 전략
– 모델 모니터링(Monitoring): 성능 지표, 응답 시간, 오류율 등 지속 추적
– 드리프트 감지(Drift Detection): 데이터 분포나 모델 출력의 변화 감지
– 롤백 전략: 문제 발생 시 이전 안정 버전으로 신속 복귀
– Canary 배포: 일부 트래픽에만 새 모델 적용 후 이상 여부 확인 후 전체 배포