ㅁ 지능형 캐싱

ㅇ 정의:

ㅇ 특징:

ㅇ 적합한 경우:

ㅇ 시험 함정:

ㅇ 시험 대비 “패턴 보기” 예시:

================================

1. Feature Store Caching

ㅇ 정의:
– 머신러닝 모델 학습·추론 시 자주 사용되는 피처 데이터를 메모리나 빠른 저장소에 캐싱하여 지연 시간을 줄이는 기법.

ㅇ 특징:
– 데이터베이스나 데이터 레이크에서 매번 불러오는 대신, 최근 또는 자주 참조되는 피처를 캐시.
– 실시간 피처 조회 속도를 획기적으로 향상.
– TTL(Time To Live) 설정으로 데이터 신선도 관리.

ㅇ 적합한 경우:
– 실시간 추천, 광고 타겟팅 등 지연 시간 민감한 서비스.
– 동일한 피처를 여러 요청에서 반복적으로 사용하는 경우.

ㅇ 시험 함정:
– 캐시 갱신 주기를 잘못 설정하면 오래된 데이터로 추론할 수 있음.
– 모든 피처를 캐시에 넣으면 메모리 낭비.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Feature Store Caching은 실시간 추론 속도를 높이기 위해 자주 사용되는 피처를 저장한다.”
– X: “Feature Store Caching은 모든 피처를 항상 캐시에 저장하여 데이터베이스 접근을 완전히 없앤다.”

================================

2. Embedding Cache

ㅇ 정의:
– 동일하거나 유사한 입력에 대해 생성된 임베딩 벡터를 재사용하기 위해 캐싱하는 구조.

ㅇ 특징:
– 텍스트, 이미지 등 입력 데이터의 임베딩 계산은 비용이 크므로 캐시를 통해 재계산 방지.
– 캐시 키로 입력 데이터의 해시값을 사용.

ㅇ 적합한 경우:
– 유사 질의가 반복적으로 들어오는 검색, 챗봇, 추천 시스템.

ㅇ 시험 함정:
– 입력 데이터 전처리 방식이 바뀌면 기존 캐시 무효화 필요.
– 캐시 적중률이 낮으면 메모리만 차지하고 효과 없음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Embedding Cache는 동일 입력에 대한 임베딩 재계산을 방지한다.”
– X: “Embedding Cache는 입력 데이터가 달라도 가장 가까운 임베딩을 반환한다.”

================================

3. ANN(Inverted Index)

ㅇ 정의:
– 대규모 벡터 검색에서 빠른 근사 최근접 탐색을 위해 역색인 구조를 사용하는 방법.

ㅇ 특징:
– 벡터를 특정 기준으로 클러스터링하고, 각 클러스터에 대한 인덱스를 유지.
– 역색인(Inverted Index)은 일반적으로 텍스트 검색에 쓰이지만, 벡터 검색에도 응용 가능.

ㅇ 적합한 경우:
– 대규모 문서나 이미지 검색 시스템.
– 실시간 응답이 필요한 근사 검색.

ㅇ 시험 함정:
– 역색인은 정확한 최근접 탐색이 아니라 근사값을 제공.
– 모든 ANN 기법이 역색인을 사용하는 것은 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Inverted Index는 특정 키워드나 벡터 특성을 빠르게 찾기 위해 사용된다.”
– X: “Inverted Index는 항상 정확한 최근접 결과를 반환한다.”

================================

4. Approximate Nearest Neighbor

ㅇ 정의:
– 고차원 공간에서 주어진 쿼리 벡터와 가장 가까운 벡터를 근사적으로 빠르게 찾는 알고리즘.

ㅇ 특징:
– 정확한 NN보다 속도 우선.
– 해싱, 그래프 탐색, 트리 기반 등 다양한 구현 방식 존재.
– 대규모 데이터셋에서 효율적.

ㅇ 적합한 경우:
– 이미지 검색, 추천, NLP 임베딩 검색 등.

ㅇ 시험 함정:
– 근사 알고리즘이므로 항상 최적의 최근접 결과를 보장하지 않음.
– 데이터 분포에 따라 성능 차이가 큼.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Approximate Nearest Neighbor는 속도를 위해 정확도를 일부 희생한다.”
– X: “Approximate Nearest Neighbor는 항상 정확한 최근접 결과를 반환한다.”

ㅁ 추가 학습 내용

정리

Feature Store Caching과 Embedding Cache 모두에서 캐시 무효화 전략이 핵심이며, 이를 위해 LRU(Least Recently Used), LFU(Least Frequently Used)와 같은 캐시 교체 정책의 원리와 차이를 이해해야 한다.
ANN(Approximate Nearest Neighbor) 기법에서는 HNSW(Hierarchical Navigable Small World), LSH(Locality Sensitive Hashing), IVF(Inverted File Index) 등의 알고리즘 구조와 동작 방식을 숙지하는 것이 중요하다.
근사 최근접 탐색에서는 검색 정확도(Recall)와 속도(Throughput) 사이의 트레이드오프 관계를 이해해야 하며, 역색인(Inverted Index)의 메모리 사용량과 업데이트 비용에 대한 이해도 필요하다.
또한, 캐시 적중률(Cache Hit Ratio)의 정의와 계산 방법을 정확히 알고 있어야 한다.

시험 대비 체크리스트

1. Feature Store Caching과 Embedding Cache의 개념과 차이 이해
2. 캐시 무효화 전략의 필요성과 방식 숙지
3. LRU, LFU 캐시 교체 정책의 동작 원리와 장단점 비교
4. ANN 기법의 개념과 필요성 이해
5. HNSW 알고리즘 구조와 탐색 방식 숙지
6. LSH의 해싱 원리와 유사도 검색 적용 방식 이해
7. IVF의 인덱스 구조와 검색 과정 숙지
8. Recall과 Throughput의 정의 및 트레이드오프 관계 설명 가능
9. 역색인의 메모리 사용량 특성과 업데이트 비용 이해
10. 캐시 적중률 계산 공식과 예제 계산 가능