ㅁ IR/Vector

ㅇ 정의:
정보 검색(Information Retrieval)에서 문서와 쿼리를 벡터 공간으로 표현하여 유사도를 계산하는 방법론.

ㅇ 특징:
– 벡터 공간 모델을 기반으로 하며, 문서와 쿼리를 고차원 벡터로 변환.
– 단순 TF-IDF 방식부터 딥러닝 기반 임베딩까지 다양한 방법론 포함.
– 검색 속도와 정확도 간의 균형이 중요.

ㅇ 적합한 경우:
– 대규모 문서 집합에서 유사한 문서를 빠르게 찾고자 할 때.
– 비정형 데이터(텍스트 등)에 대한 검색이 필요한 경우.

ㅇ 시험 함정:
– 벡터 공간 모델과 전통적인 키워드 매칭 기반 검색의 차이를 혼동하는 경우.
– 딥러닝 기반의 임베딩과 전통적 TF-IDF 방식의 장단점을 구분하지 못하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 벡터 공간 모델에서는 문서와 쿼리를 수치 벡터로 변환하여 유사도를 계산한다.
– X: IR/Vector 방식은 항상 딥러닝 모델을 사용한다.

================

1. ColBERT

ㅇ 정의:
Contextualized Late Interaction over BERT의 약자로, BERT 기반의 효율적인 정보 검색 모델.

ㅇ 특징:
– 문서와 쿼리를 각각 독립적으로 인코딩한 후, Late Interaction 방식을 통해 유사도를 계산.
– 검색 속도와 정확도를 모두 고려한 설계.
– 효율적인 인덱싱과 검색을 위해 토큰 단위의 벡터를 활용.

ㅇ 적합한 경우:
– 대규모 데이터셋에서 BERT 기반의 고품질 검색이 필요한 경우.
– 실시간 검색 성능이 중요한 응용 분야.

ㅇ 시험 함정:
– ColBERT의 Late Interaction 방식을 정확히 이해하지 못하고, 일반적인 BERT 모델로 혼동하는 경우.
– 토큰 단위의 인코딩과 문서 단위 인코딩을 혼동하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: ColBERT는 Late Interaction 방식을 통해 효율적인 검색을 수행한다.
– X: ColBERT는 문서와 쿼리를 반드시 동시에 인코딩한다.

ㅁ 추가 학습 내용

1. IR/Vector 방식에서 딥러닝 기반 임베딩과 전통적인 TF-IDF 방식의 성능 차이에 대한 비교:
딥러닝 기반 임베딩 방식은 문맥 정보를 포함한 단어 표현을 학습하여 문서 간의 의미적 유사도를 더 정확히 측정할 수 있습니다. 반면, TF-IDF는 단어의 빈도와 역문서 빈도를 기반으로 단순히 단어의 가중치를 계산하므로 문맥 정보를 고려하지 못합니다. 딥러닝 임베딩은 특히 동의어나 다의어를 처리하는 데 강점을 가지며, 문서의 의미적 유사도를 더 잘 반영합니다. 하지만 딥러닝 임베딩은 일반적으로 계산 비용이 높고 대량의 데이터와 학습 시간이 필요합니다. 반대로 TF-IDF는 계산이 간단하고 효율적이지만, 문서의 복잡한 의미를 제대로 반영하지 못하는 한계를 가집니다.

2. ColBERT의 Late Interaction 방식이 검색 효율성을 향상시키는 방법:
ColBERT의 Late Interaction 방식은 쿼리와 문서의 임베딩을 각각 독립적으로 계산한 후, 검색 시점에서 이 두 임베딩 간의 유사도 계산을 수행합니다. 이 방식은 쿼리나 문서가 변경되지 않는 한, 사전에 문서 임베딩을 계산하고 저장해둘 수 있어 검색 시점의 계산 부담을 줄입니다. Late Interaction은 쿼리와 문서의 모든 토큰 간의 유사도를 개별적으로 계산하여 더 세밀한 검색 결과를 제공합니다. 또한, 계산 복잡도를 줄이기 위해 효율적인 인덱싱 기법을 활용할 수 있으며, 메모리 효율성을 높이기 위해 고밀도 임베딩 대신 저밀도 표현을 사용할 수도 있습니다. 예를 들어, 문서 임베딩을 사전에 압축하거나, 유사도 계산을 가속화하기 위해 GPU를 활용하는 사례가 있습니다.