ㅁ 배포 방식

ㅇ 정의:
– 배포 방식은 머신러닝 모델을 실제 환경에서 사용할 수 있도록 준비하고 제공하는 방법을 의미한다. BentoML은 이러한 배포를 효율적으로 관리하기 위한 오픈소스 프레임워크이다.

ㅇ 특징:
– 모델을 컨테이너화하여 쉽게 배포할 수 있다.
– 다양한 배포 환경(GCP, AWS, Azure 등)과 통합이 가능하다.
– REST API 형태로 모델 서비스를 제공할 수 있다.
– 모델 버전 관리 및 추적 기능을 지원한다.

ㅇ 적합한 경우:
– 빠르고 간단한 배포가 필요한 경우.
– 여러 머신러닝 모델을 동시에 관리해야 하는 환경.
– 클라우드 기반의 다양한 배포 환경을 지원해야 하는 경우.

ㅇ 시험 함정:
– BentoML은 단순히 모델 배포만을 위한 도구가 아니라, 모델 관리 및 추적 기능도 포함되어 있다는 점을 간과할 수 있다.
– 모든 배포 환경에서 동일한 성능을 보장한다고 오해할 가능성이 있다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: BentoML은 모델을 REST API로 배포하는 데 사용된다.
– X: BentoML은 자체적으로 클라우드 환경을 제공한다.

ㅁ 추가 학습 내용

BentoML의 주요 구성 요소와 역할, 그리고 CLI 명령어와 배포 프로세스에 대해 정리하였습니다.

1. BentoML의 주요 구성 요소와 역할:
– Service: 모델을 API 형태로 배포하기 위한 핵심 구성 요소입니다. Service는 모델과 API 엔드포인트를 정의하며, 사용자가 요청을 보낼 수 있도록 구성됩니다.
– Runner: 모델의 실행 환경을 분리하여 효율적으로 관리하는 구성 요소입니다. Runner는 모델의 예측 요청을 처리하며, 대규모 워크로드를 처리할 때 유용합니다.
– Artifact: 모델 파일 및 관련 메타데이터를 저장하는 데 사용됩니다. 모델을 저장하고 로드하는 데 필요한 모든 정보를 포함하며, 모델의 재사용성을 높여줍니다.
– Yatai: BentoML에서 제공하는 모델 관리 플랫폼으로, 모델의 저장, 버전 관리, 배포 상태 등을 중앙에서 관리할 수 있습니다.

2. BentoML CLI 명령어:
– `bentoml init`: 새로운 BentoML 프로젝트를 초기화합니다.
– `bentoml serve`: 로컬 환경에서 BentoML 서비스를 실행하여 API를 테스트합니다.
– `bentoml build`: BentoML 서비스를 패키징하여 배포 가능한 형태로 만듭니다.
– `bentoml push`: 빌드된 Bento를 Yatai 서버에 업로드합니다.
– `bentoml list`: 저장된 모델이나 Bento 목록을 확인합니다.
– `bentoml delete`: 저장된 모델이나 Bento를 삭제합니다.

3. 배포 프로세스:
– 모델 개발 및 훈련: 모델을 훈련시키고, BentoML을 사용하여 모델을 저장(Artifact)합니다.
– 서비스 정의: API 엔드포인트와 모델을 사용할 Service를 정의합니다.
– 로컬 테스트: `bentoml serve` 명령어를 사용하여 로컬에서 Service를 실행하고 테스트합니다.
– 빌드: `bentoml build` 명령어를 사용하여 배포 가능한 형태로 패키징합니다.
– 배포: 빌드된 Bento를 클라우드 서비스, Docker 컨테이너, Kubernetes 등 다양한 환경에 배포합니다.
– 관리 및 모니터링: Yatai를 활용하여 배포된 서비스의 상태를 모니터링하고 관리합니다.

BentoML의 각 구성 요소와 CLI 명령어, 배포 프로세스를 충분히 이해하고 실습하면 시험 준비에 큰 도움이 될 것입니다.