ㅁ 지능형 캐싱

ㅇ 정의: 데이터를 효율적으로 저장하고 접근하기 위한 기술로, 자주 사용되는 데이터를 캐싱하여 시스템 성능을 향상시킴.

ㅇ 특징:
– 데이터 접근 속도 향상.
– 메모리 사용 최적화.
– 캐시 적중률에 따라 성능이 달라짐.

ㅇ 적합한 경우:
– 대규모 데이터셋에서 자주 조회되는 데이터가 있는 경우.
– 실시간 응답 속도가 중요한 애플리케이션.

ㅇ 시험 함정:
– 캐싱이 항상 성능을 향상시킨다고 생각하기 쉬움.
– 캐시 무효화 전략의 중요성을 간과함.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 지능형 캐싱은 데이터 접근 속도를 높이는 데 효과적이다.
– X: 모든 데이터에서 캐싱을 사용하면 성능이 항상 향상된다.

================================

1. Embedding Cache

ㅇ 정의:
자주 조회되는 임베딩 데이터를 캐시에 저장하여 모델 추론 속도를 높이는 기술.

ㅇ 특징:
– 모델 추론 시 반복적으로 사용되는 임베딩 테이블 항목을 저장.
– 캐시 적중률에 따라 성능이 크게 달라짐.
– 메모리 자원 관리가 중요.

ㅇ 적합한 경우:
– 대규모 추천 시스템에서 동일한 사용자 또는 아이템 데이터를 반복적으로 조회하는 경우.
– 임베딩 테이블이 너무 커서 메모리 사용량이 높은 경우.

ㅇ 시험 함정:
– 캐시 적중률이 낮으면 오히려 성능이 저하될 수 있음.
– 임베딩 데이터의 동기화 문제를 간과할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Embedding Cache는 대규모 추천 시스템에서 성능 최적화를 위해 사용된다.
– X: Embedding Cache는 모든 딥러닝 모델에서 필수적으로 사용된다.

ㅁ 추가 학습 내용

Embedding Cache와 관련된 추가 학습 내용을 다음과 같이 정리할 수 있습니다.

1. **캐시 무효화 전략**:
– 캐시에 저장된 데이터가 더 이상 유효하지 않을 때 이를 제거하거나 갱신하는 방법.
– 일반적인 전략으로는 시간 기반 무효화(Time-to-Live, TTL), 이벤트 기반 무효화, 수동 무효화 등이 있음.
– 각 전략의 장단점과 사용 사례를 이해하는 것이 중요.

2. **LRU(Least Recently Used) 알고리즘**:
– 가장 오래 사용되지 않은 데이터를 우선적으로 제거하는 캐싱 알고리즘.
– 메모리 사용을 최적화하면서도 자주 사용되는 데이터를 유지하기 위한 대표적인 방법.
– LRU 알고리즘 구현 방법과 변형된 알고리즘들(LFU, MRU 등)도 함께 학습.

3. **캐시 적중률 계산 방법**:
– 캐시 적중률(Cache Hit Rate)은 캐시에서 데이터를 성공적으로 검색한 비율을 나타냄.
– 적중률 계산 공식과 이를 통해 시스템 성능을 평가하고 최적화하는 방법 학습.

4. **임베딩 캐시의 메모리 초과 문제**:
– 임베딩 캐시를 사용할 때 대규모 데이터로 인해 메모리가 초과될 수 있는 문제.
– 이를 해결하기 위한 방법으로 캐시 크기 제한, 데이터 압축, 불필요한 데이터 제거 등이 있음.

5. **메모리 관리 기법**:
– 캐시 크기를 동적으로 조정하여 메모리 사용량을 최적화하는 방법.
– 캐시 데이터를 디스크에 저장하는 디스크 기반 캐싱 기법(예: RocksDB, LevelDB).
– 메모리와 디스크를 혼합 활용하여 성능과 저장 용량을 균형 있게 관리하는 방법.

위의 개념들을 학습하고, 임베딩 캐시를 실제 시스템에 적용하며 발생할 수 있는 문제를 이해하고 해결하는 능력을 키우는 것이 중요합니다.