ㅁ 지능형 캐싱

ㅇ 정의:
자주 사용되는 데이터나 연산 결과를 메모리나 빠른 저장소에 저장하여 재사용함으로써 시스템 응답 속도를 향상시키는 기술.

ㅇ 특징:
– 데이터 접근 지연(latency)을 줄이고 처리량(throughput)을 높임.
– 캐시 적중률(hit rate)에 따라 성능 향상 폭이 결정됨.
– 메모리 사용량과 최신성(freshness) 유지 간의 트레이드오프 존재.

ㅇ 적합한 경우:
– 동일한 요청이 반복적으로 발생하는 서비스 환경.
– 외부 API 호출이나 대규모 연산 결과를 재활용할 수 있는 경우.

ㅇ 시험 함정:
– 캐싱은 항상 성능을 향상시키는 것이 아님. 데이터 변경이 잦으면 오히려 오버헤드 발생.
– 캐시 무효화(invalidation) 전략을 고려하지 않으면 잘못된 데이터 제공 위험.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “자주 조회되는 데이터의 응답 속도를 높이기 위해 메모리에 저장하는 방식”
X: “모든 데이터 요청을 캐시에 저장하면 항상 성능이 향상된다”

================================

1. Embedding Cache

ㅇ 정의:
자연어 처리(NLP)나 추천 시스템 등에서 자주 사용되는 텍스트, 이미지 등의 임베딩 벡터를 캐시에 저장하여 재계산을 방지하는 기술.

ㅇ 특징:
– 동일한 입력 데이터에 대해 임베딩 재생성 비용을 절감.
– 메모리 기반 저장소(Redis, Memcached 등)를 활용하여 빠른 접근 가능.
– 임베딩 차원 수와 데이터 양에 따라 캐시 메모리 요구량이 커질 수 있음.

ㅇ 적합한 경우:
– 같은 데이터셋에서 반복적으로 임베딩을 조회하는 검색, 추천, 챗봇 등.
– 모델 추론 비용이 높은 환경에서 응답 속도를 단축해야 하는 경우.

ㅇ 시험 함정:
– 임베딩 모델이 변경되면 기존 캐시 데이터는 무효화해야 함.
– 입력 데이터가 조금만 달라져도 다른 임베딩으로 간주되어 캐시 적중률이 낮아질 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “동일한 입력에 대한 임베딩 계산을 반복하지 않도록 저장하는 방식”
X: “Embedding Cache는 모든 입력 데이터에 대해 항상 동일한 결과를 반환한다”

ㅁ 추가 학습 내용

Embedding Cache 사용 시 핵심 포인트 정리

1. 캐시 키 설계
– 입력 데이터의 해시값을 캐시 키로 사용하여 동일 입력에 대한 임베딩을 정확히 매칭
– 해시 충돌 방지와 재현성 확보가 중요

2. 캐시 교체 정책
– LRU(Least Recently Used): 가장 오래 사용하지 않은 항목부터 제거
– LFU(Least Frequently Used): 사용 빈도가 가장 낮은 항목부터 제거
– 메모리 사용 최적화를 위해 적절한 정책 선택 필요

3. 시험 출제 포인트
– 임베딩 모델 변경 시 캐시 무효화 필요성
– 캐시 적중률과 메모리 사용량의 상관관계
– 데이터 변경이 빈번할 경우 캐시가 오히려 성능 저하를 유발할 수 있음

4. 분산 환경 고려 사항
– 캐시 일관성(consistency) 유지 방법 숙지
– 네트워크 지연이 캐시 성능에 미치는 영향 이해