ㅁ 인프라 및 자동화

ㅇ 정의:
머신러닝 모델 학습과 예측에 필요한 피처(Feature)를 중앙에서 관리·저장·제공하는 시스템을 구현하는 과정. 데이터 엔지니어링, 데이터 파이프라인, API 제공, 버전 관리 등을 포함.

ㅇ 특징:
– 학습 데이터와 실시간 예측 데이터의 피처 일관성 보장
– 피처 재사용을 통한 개발 효율성 향상
– 데이터 품질 관리 및 모니터링 기능 포함
– 온라인(저지연) / 오프라인(대용량 배치) 저장소 분리 운영 가능

ㅇ 적합한 경우:
– 여러 모델이 동일한 피처를 공유하는 대규모 ML 환경
– 실시간 예측 서비스에서 데이터 지연을 최소화해야 하는 경우
– 데이터 사이언스 팀과 엔지니어링 팀 간의 협업이 필요한 경우

ㅇ 시험 함정:
– 단순 데이터베이스 구축과 혼동 (Feature Store는 ML 파이프라인과 통합된 특화 기능 제공)
– 온라인/오프라인 저장소 구분 없이 설명하는 경우 오답
– 피처 엔지니어링과 Feature Store 구축을 동일시하는 경우 오답

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Feature Store는 학습과 예측 시 동일한 피처 정의를 제공한다.”
X: “Feature Store는 모델 학습에만 사용되며 실시간 서비스에는 사용되지 않는다.”

ㅁ 추가 학습 내용

Feature Store 구현 시 고려해야 할 추가 개념 정리

1. 데이터 거버넌스
– 접근 제어: 사용자별·역할별 데이터 접근 권한 관리
– 감사 로그: 데이터 접근 및 변경 이력 기록과 추적

2. 피처 버저닝 전략
– 피처 변경 이력 관리
– 모델 재학습 시 동일 버전 데이터 재현 가능성 확보

3. 데이터 드리프트 감지 및 알림
– 입력 데이터 분포 변화 모니터링
– 이상 징후 발생 시 알림 전송

4. 모델 서빙 시스템과의 연계 방식
– 온라인 예측 시 실시간 피처 제공
– 배치 예측 시 오프라인 데이터 연계

5. 대표 솔루션 비교
– Feast: 오픈소스, 다양한 저장소 연계 가능, 유연한 구성
– Tecton: 상용 솔루션, 관리형 환경 제공, 엔터프라이즈 기능 강화
– AWS SageMaker Feature Store: AWS 통합 서비스, 관리형 스토리지 및 API 제공

6. 온라인/오프라인 저장소 간 동기화 전략
– 데이터 일관성 유지
– 지연 최소화를 위한 효율적 동기화 설계

7. 데이터 레이턴시 최소화를 위한 캐싱 기법
– 자주 조회되는 피처를 메모리 캐시 또는 인메모리 DB에 저장
– 네트워크 및 I/O 지연 감소