ㅁ 지능형 캐싱

ㅇ 정의:
자주 조회되는 데이터나 검색 결과를 메모리나 고속 저장소에 저장하여 재사용함으로써 시스템 응답 속도를 향상시키는 기술.

ㅇ 특징:
– 요청 패턴을 분석하여 캐싱 여부를 결정함.
– 메모리 기반 캐싱은 빠르지만 용량 제약이 있고, 디스크 기반은 용량이 크지만 속도가 느림.
– AI 기반 접근은 사용자의 검색 의도와 패턴을 학습하여 캐시 효율을 극대화함.

ㅇ 적합한 경우:
– 동일하거나 유사한 요청이 반복적으로 발생하는 환경.
– 대규모 데이터 검색에서 응답 속도가 중요한 경우.

ㅇ 시험 함정:
– 캐싱은 항상 성능을 높인다고 생각하기 쉬우나, 데이터 변경이 잦으면 오히려 오버헤드가 커질 수 있음.
– 캐시 무효화 전략이 없으면 오래된 데이터 제공 위험.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “사용자 검색 패턴을 학습하여 불필요한 재검색을 줄이는 기술”
X: “데이터 변경이 잦을수록 캐시 효율이 높아진다”

================================

1. ANN(Inverted Index)

ㅇ 정의:
Approximate Nearest Neighbor 검색을 위해 역색인(Inverted Index) 구조를 활용하여 고차원 벡터 검색 속도를 향상시키는 기법.

ㅇ 특징:
– 역색인은 키워드 기반 검색에서 문서 ID를 빠르게 찾는 구조.
– ANN과 결합 시 유사 벡터를 빠르게 후보 집합으로 좁혀 검색 속도를 개선.
– 정확도보다 속도를 우선시하며, 대규모 데이터셋에서 효율적.

ㅇ 적합한 경우:
– 이미지 검색, 추천 시스템, 자연어 검색 등 대규모 벡터 데이터 유사도 검색.
– 실시간 응답이 필요한 서비스.

ㅇ 시험 함정:
– ANN은 항상 정확한 최근접 이웃을 찾는 것이 아님.
– 역색인은 텍스트 검색에만 쓰인다고 오해하기 쉬움.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “역색인 구조를 활용하여 대규모 벡터 유사도 검색 속도를 높이는 기법”
X: “ANN은 항상 완전한 최근접 이웃을 보장한다”

ㅁ 추가 학습 내용

시험 대비를 위해 정리한 내용은 다음과 같습니다.

1. 역색인의 기본 구조
– 용어 사전: 문서 집합에서 등장하는 모든 용어를 정리한 목록
– 포스팅 리스트: 각 용어가 등장하는 문서 ID와 위치 등의 정보 목록
– 검색 과정: 쿼리 입력 → 토큰화 → 색인 검색 → 관련 문서 반환

2. ANN 검색 기법
– LSH(Locality Sensitive Hashing): 유사한 벡터를 동일한 해시 버킷에 매핑
– HNSW(Hierarchical Navigable Small World Graph): 그래프 기반 근사 최근접 탐색
– PQ(Product Quantization): 벡터를 여러 서브 벡터로 나누어 양자화해 검색 효율 향상
– 역색인과 결합 시 후보 축소 단계로 활용 가능

3. 정확도-속도 트레이드오프
– ANN은 속도를 높이면 정확도가 떨어질 수 있음
– Recall: 실제 관련 항목 중 검색된 비율
– Precision: 검색된 항목 중 실제 관련 항목의 비율

4. 캐시와 ANN 결합 시 고려 사항
– 캐시 적중률(Cache Hit Ratio) 관리 중요
– 메모리 관리 전략 필요

5. 역색인의 응용 범위
– 텍스트 데이터뿐 아니라 벡터 데이터 인덱싱에도 사용 가능
– 시험에서 함정으로 출제될 수 있음