ㅁ 자동화

ㅇ 정의:
– AI 시스템 구축에서 자동화는 반복적인 작업을 줄이고 효율성을 높이는 기술 및 프로세스를 의미합니다.

ㅇ 특징:
– 작업의 일관성 유지.
– 오류 감소.
– 시간 절약 및 비용 효율성 증대.

ㅇ 적합한 경우:
– 대규모 데이터 처리 및 모델 업데이트가 빈번한 경우.
– 여러 팀이 협력하며 동일한 데이터에 접근해야 하는 경우.

ㅇ 시험 함정:
– 자동화가 모든 상황에서 최적의 선택이 아님을 간과하는 경우.
– 자동화 도구의 한계를 이해하지 못하고 과도하게 의존하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– (O) 자동화는 반복 작업을 줄이고 효율성을 높이는 데 기여한다.
– (X) 자동화는 모든 데이터 처리 문제를 해결할 수 있다.

================================

1. Feature Store

ㅇ 정의:
– Feature Store는 머신러닝 모델 개발에서 사용되는 특징(feature)을 저장, 관리, 공유하는 시스템입니다.

ㅇ 특징:
– 데이터 준비 및 전처리의 일관성 유지.
– 실시간 및 배치 데이터를 모두 지원.
– 팀 간 협업을 촉진.

ㅇ 적합한 경우:
– 여러 모델이 동일한 특징을 공유해야 하는 경우.
– 실시간 데이터 활용이 필요한 경우.

ㅇ 시험 함정:
– Feature Store가 모든 데이터 저장 및 관리 문제를 해결한다고 오해하는 경우.
– 실시간 데이터 지원 여부를 혼동하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– (O) Feature Store는 머신러닝 모델 개발에서 특징을 관리하는 데 유용하다.
– (X) Feature Store는 데이터베이스와 동일한 역할을 한다.

================================

1.1 실시간 Feature 관리

ㅇ 정의:
– 실시간 Feature 관리는 스트리밍 데이터로부터 실시간으로 특징을 생성하고 업데이트하는 과정입니다.

ㅇ 특징:
– 낮은 지연 시간으로 데이터 처리.
– 실시간 예측에 적합.

ㅇ 적합한 경우:
– 실시간 사용자 행동 분석이 필요한 경우.
– 빠른 응답이 요구되는 애플리케이션에서.

ㅇ 시험 함정:
– 실시간 Feature 관리가 모든 데이터 처리 요구를 충족한다고 오해하는 경우.
– 배치 데이터와 실시간 데이터의 차이를 혼동하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– (O) 실시간 Feature 관리는 스트리밍 데이터를 활용한다.
– (X) 실시간 Feature 관리는 배치 데이터를 처리한다.

================================

1.2 배치 Feature 관리

ㅇ 정의:
– 배치 Feature 관리는 대규모 데이터셋에서 특징을 생성하고 관리하는 과정을 의미합니다.

ㅇ 특징:
– 대량 데이터 처리에 적합.
– 처리 속도가 실시간 처리보다 느림.

ㅇ 적합한 경우:
– 정기적인 데이터 업데이트가 필요한 경우.
– 실시간 데이터 처리 요구가 없는 경우.

ㅇ 시험 함정:
– 배치 Feature 관리가 실시간 데이터 처리에도 적합하다고 오해하는 경우.
– 배치 처리의 속도와 실시간 처리의 속도를 혼동하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– (O) 배치 Feature 관리는 대규모 데이터 처리에 적합하다.
– (X) 배치 Feature 관리는 실시간 데이터를 처리한다.

ㅁ 추가 학습 내용

Feature Store와 관련하여 학습해야 할 내용을 다음과 같이 정리할 수 있습니다:

1. 데이터 중복 관리 및 효율적인 저장 전략:
– 데이터 중복이 발생하는 주요 원인 분석.
– 중복 데이터를 감지하고 제거하는 방법.
– 효율적인 데이터 저장을 위한 압축 기술과 파티셔닝 전략.
– 데이터 관리와 관련된 비용 절감 방안.

2. Feature Store가 데이터베이스와 다른 점:
– Feature Store의 주요 목적과 역할.
– 데이터베이스와 Feature Store의 구조적 및 기능적 차이.
– Feature Store가 머신러닝 워크플로우에서 어떻게 사용되는지.
– 데이터베이스와 Feature Store의 사용 사례 비교.

3. 실시간 데이터와 배치 데이터의 통합 관리 방법:
– 실시간 데이터와 배치 데이터의 특징 및 차이점.
– 두 데이터 유형을 통합하여 관리하는 기술적 접근법.
– 스트리밍 데이터 처리 기술과 배치 처리 기술을 결합하는 방법.
– 통합 관리 시 발생할 수 있는 문제점과 해결 방안.

4. 주요 Feature Store 도구들의 비교 및 특징:
– Amazon SageMaker Feature Store의 주요 기능과 사용 사례.
– Tecton Feature Store의 주요 기능과 사용 사례.
– 두 도구의 장단점 비교.
– 다른 인기 있는 Feature Store 도구들과의 비교(예: Feast, Hopsworks 등).
– 각 도구가 적합한 환경 및 활용 사례.