ㅁ 인프라 및 자동화

ㅇ 정의:
Feature Store는 머신러닝 모델에서 사용하는 피처 데이터를 저장, 관리, 배포하는 중앙 저장소로, 데이터의 재사용성과 일관성을 보장한다.

ㅇ 특징:
– 데이터 중복 방지 및 관리 효율성 향상
– 실시간 및 배치 처리 지원
– 데이터 품질 검증 및 버전 관리 기능 제공

ㅇ 적합한 경우:
– 여러 팀이 동일한 피처를 공유해야 하는 경우
– 실시간 데이터 스트리밍과 배치 데이터를 모두 처리해야 하는 경우

ㅇ 시험 함정:
– 피처 스토어와 데이터 웨어하우스를 혼동하는 경우
– 실시간 처리를 지원하지 않는 시스템을 피처 스토어로 오인하는 경우

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Feature Store는 피처의 일관성과 재사용성을 보장한다.
– X: Feature Store는 데이터 웨어하우스와 동일한 역할을 한다.

================================

1. Feature Store 구현

ㅇ 정의:
Feature Store 구현은 머신러닝 모델에서 필요한 피처 데이터를 저장, 관리, 배포하기 위해 인프라를 설계하고 개발하는 과정이다.

ㅇ 특징:
– 데이터 파이프라인 설계 및 구축 포함
– 실시간 및 배치 데이터 처리 시스템 통합
– 데이터 스키마와 메타데이터 관리

ㅇ 적합한 경우:
– 머신러닝 모델의 학습과 예측에서 동일한 피처를 사용해야 하는 경우
– 피처 데이터의 품질과 일관성을 유지해야 하는 경우

ㅇ 시험 함정:
– 피처 스토어 구현이 단순히 데이터베이스 구축이라고 오해하는 경우
– 실시간 데이터 처리 요건을 간과하는 경우

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Feature Store 구현은 데이터 파이프라인 설계와 통합을 포함한다.
– X: Feature Store 구현은 단순히 데이터 저장소를 생성하는 작업이다.

ㅁ 추가 학습 내용

Feature Store의 주요 구성 요소, 데이터 품질 관리 방법, 데이터 버전 관리에 대한 학습 내용을 정리하면 다음과 같습니다:

1. Feature Store의 주요 구성 요소:
– **온라인 스토어**: 실시간 예측에 사용되는 피처 데이터를 저장하고 제공하는 시스템입니다. 응답 속도가 빠르고, 낮은 지연 시간(latency)을 가지는 것이 특징입니다. 주로 애플리케이션이나 모델이 실시간 추론을 수행할 때 사용됩니다.
– **오프라인 스토어**: 대규모 데이터 분석 및 모델 학습에 사용되는 피처 데이터를 저장하는 시스템입니다. 대용량 데이터를 처리할 수 있으며, 배치 처리 방식으로 동작합니다. 주로 모델 학습 및 검증에 필요한 데이터를 제공합니다.

2. 온라인 스토어와 오프라인 스토어의 차이점:
– 데이터 제공 속도: 온라인 스토어는 실시간 제공, 오프라인 스토어는 배치 제공.
– 사용 목적: 온라인 스토어는 실시간 추론, 오프라인 스토어는 모델 학습 및 데이터 분석.
– 데이터 크기: 온라인 스토어는 상대적으로 적은 양의 데이터를 다루며, 오프라인 스토어는 대규모 데이터를 처리.
– 기술 스택: 온라인 스토어는 빠른 응답을 위해 NoSQL 데이터베이스나 인메모리 데이터베이스를 사용하고, 오프라인 스토어는 데이터 웨어하우스나 분산 파일 시스템을 주로 사용.

3. 데이터 품질 관리 방법:
– 데이터 유효성 검사: 데이터가 정의된 스키마와 규칙을 준수하는지 확인합니다.
– 결측값 처리: 결측값을 제거하거나 적절한 값으로 대체하여 데이터 품질을 유지합니다.
– 이상치 탐지: 데이터 분포에서 벗어나는 이상치를 식별하고 처리하여 모델 성능 저하를 방지합니다.
– 데이터 모니터링: 데이터 파이프라인에서 발생할 수 있는 문제를 실시간으로 감지하고 대응합니다.
– 데이터 일관성 보장: 데이터 소스 간의 불일치 문제를 해결하고, 중복 데이터를 제거합니다.

4. 데이터 버전 관리의 중요성:
– 데이터 변경 추적: 데이터가 시간에 따라 어떻게 변경되었는지 기록하여 문제 발생 시 원인을 파악할 수 있습니다.
– 재현 가능성 보장: 동일한 데이터 버전을 사용하여 모델을 재학습하거나 검증할 수 있습니다.
– 협업 효율성 향상: 팀 내에서 데이터 변경 사항을 공유하고, 충돌을 방지할 수 있습니다.
– 규제 준수: 데이터 사용 기록을 보존하여 규제 요구 사항을 충족할 수 있습니다.

5. 데이터 버전 관리의 구현 사례:
– Git과 유사한 시스템: DVC(Data Version Control)과 같은 도구를 사용하여 데이터셋의 버전을 관리하고 추적합니다.
– 데이터 레이크 활용: 데이터 레이크에서 데이터를 시간별로 스냅샷 형태로 저장하여 버전을 관리합니다.
– 메타데이터 관리 시스템: 데이터에 대한 메타데이터를 저장하고, 버전 정보를 포함하여 데이터 변경 이력을 관리합니다.
– Feature Store 자체 기능: 일부 Feature Store는 내장된 버전 관리 기능을 제공하여 피처 데이터의 변경 사항을 추적합니다.