ㅁ 지능형 캐싱

ㅇ 정의:
데이터 처리 및 분석에서 자주 사용되는 데이터나 모델의 중간 결과를 캐시에 저장하여 반복적인 계산을 줄이고 성능을 향상시키는 기술.

ㅇ 특징:
– 데이터 접근 속도 향상
– 시스템 부하 감소
– 저장소 크기와 캐싱 정책에 따라 성능 차이 발생

ㅇ 적합한 경우:
– 대규모 데이터 분석 작업
– 반복적인 데이터 호출이 많은 환경
– 실시간 데이터 처리가 필요한 경우

ㅇ 시험 함정:
– 캐시 갱신 주기와 데이터 일관성 문제를 혼동하기 쉬움
– 캐싱 정책의 종류와 구현 방법을 혼동할 가능성

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “지능형 캐싱은 데이터 접근 속도를 높이는 데 사용된다.”
– X: “지능형 캐싱은 데이터 일관성을 항상 보장한다.”

================================

1. Feature Store Caching

ㅇ 정의:
머신러닝 모델 학습 및 추론 시 자주 사용되는 피처 데이터를 효율적으로 관리하기 위해 캐싱하는 기술.

ㅇ 특징:
– 모델 학습과 추론 속도 향상
– 피처 데이터의 중복 계산 방지
– 데이터 최신성 유지와 성능 간의 균형 필요

ㅇ 적합한 경우:
– 대규모 머신러닝 피처 데이터 관리
– 반복적인 모델 학습 및 추론 작업
– 실시간 피처 데이터 생성 및 활용

ㅇ 시험 함정:
– Feature Store와 Feature Store Caching의 개념을 혼동할 가능성
– 캐싱이 항상 성능을 향상시킨다고 오해할 가능성

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Feature Store Caching은 피처 데이터를 효율적으로 관리하기 위한 기술이다.”
– X: “Feature Store Caching은 데이터의 최신성을 항상 보장한다.”

ㅁ 추가 학습 내용

Feature Store Caching에서 사용되는 주요 캐싱 정책과 각각의 장단점은 다음과 같습니다:

1. **LRU (Least Recently Used)**:
– **정책 설명**: 가장 오랫동안 사용되지 않은 데이터를 캐시에서 제거하는 방식.
– **장점**:
– 구현이 간단하며 직관적이다.
– 최근에 사용된 데이터가 유지되므로 데이터 접근 패턴이 시간적으로 국한되어 있을 때 효과적이다.
– **단점**:
– 데이터 접근 패턴이 균일하지 않을 경우 비효율적일 수 있다.
– 캐시가 자주 변경되면 성능에 영향을 줄 수 있다.

2. **LFU (Least Frequently Used)**:
– **정책 설명**: 가장 적게 사용된 데이터를 캐시에서 제거하는 방식.
– **장점**:
– 자주 사용되는 데이터를 유지하므로 데이터 접근 패턴이 빈도 중심일 때 효과적이다.
– **단점**:
– 빈도 계산을 위한 추가적인 메모리와 연산이 필요하다.
– 최근에 사용되었지만 빈도가 낮은 데이터가 제거될 수 있어 단기적 접근 패턴에 취약할 수 있다.

3. **FIFO (First In, First Out)**:
– **정책 설명**: 가장 먼저 캐시에 들어온 데이터를 제거하는 방식.
– **장점**:
– 구현이 간단하고 관리가 용이하다.
– **단점**:
– 데이터 접근 패턴과 무관하게 작동하므로 효율성이 떨어질 수 있다.

4. **MRU (Most Recently Used)**:
– **정책 설명**: 가장 최근에 사용된 데이터를 캐시에서 제거하는 방식.
– **장점**:
– 특정 접근 패턴에서 유용할 수 있다.
– **단점**:
– 일반적인 데이터 접근 패턴에서는 효율성이 떨어질 가능성이 있다.

Feature Store와 Feature Store Caching의 차이점:

1. **Feature Store**:
– 데이터 과학 및 머신러닝에서 사용되는 특징 데이터를 저장하고 관리하는 시스템.
– 특징 데이터를 생성, 저장, 검색, 공유하는 데 초점이 맞춰져 있다.
– 주로 머신러닝 모델의 학습 및 예측에 사용되는 데이터의 일관성을 유지하고 재사용성을 높이는 역할을 한다.
– 대규모 데이터베이스와 유사하며, 데이터의 장기적 보관과 관리에 중점을 둔다.

2. **Feature Store Caching**:
– Feature Store에서 자주 사용되는 데이터를 빠르게 접근하기 위해 사용하는 임시 저장소.
– 캐싱은 성능 향상을 목적으로 하며, 데이터 접근 속도를 높이는 데 초점이 맞춰져 있다.
– 특징 데이터를 실시간으로 제공하거나 반복적인 데이터 접근이 필요한 경우에 사용된다.
– 단기적 데이터 저장에 중점을 두며, 캐싱 정책을 통해 데이터 관리 효율성을 극대화한다.

이 두 개념을 명확히 구분하기 위해서는 Feature Store가 데이터의 “저장 및 관리”를 담당하는 반면, Feature Store Caching은 “접근 속도 향상”에 초점을 맞춘다는 점을 기억하는 것이 중요합니다.