ㅁ IR/Vector

ㅇ 정의:
정보 검색(Information Retrieval)에서 문서와 쿼리 간의 관련성을 측정하여 문서를 순위화하는 기법.

ㅇ 특징:
– BM25는 TF-IDF의 확장으로, 문서 길이에 따른 정규화를 통해 불균형을 완화.
– 쿼리의 각 단어가 문서에서 얼마나 중요한지를 계산.
– k1(자유도)와 b(길이 정규화 매개변수)라는 두 가지 주요 파라미터를 사용.

ㅇ 적합한 경우:
– 검색 엔진에서 문서와 쿼리의 유사도를 계산할 때.
– 텍스트 데이터의 길이가 서로 다른 경우에도 효과적.
– 빠른 계산이 요구되는 대규모 검색 작업.

ㅇ 시험 함정:
– BM25는 단순한 TF-IDF와 동일하다고 오해할 수 있음.
– 파라미터 k1과 b의 조정이 결과에 미치는 영향을 간과할 수 있음.
– 문서 길이 정규화를 무조건적으로 유리하다고 생각할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
1. O: BM25는 TF-IDF를 기반으로 문서 길이를 정규화한 점이 특징이다.
2. X: BM25는 TF-IDF와 동일하며 추가적인 파라미터가 존재하지 않는다.
3. O: BM25에서 k1은 단어 빈도에 대한 자유도를 조정하는 역할을 한다.

ㅁ 추가 학습 내용

BM25의 주요 파라미터인 k1과 b는 검색 성능을 조정하는 데 중요한 역할을 합니다. 각 파라미터의 기본값과 조정 방법을 아래와 같이 정리할 수 있습니다:

1. **k1 (Term Frequency 스케일링 파라미터)**:
– 기본값: 일반적으로 1.2에서 2.0 사이로 설정됩니다.
– 역할: 문서 내에서 특정 단어의 빈도(TF, Term Frequency)에 대한 가중치를 조정합니다. k1이 높을수록 단어 빈도에 따른 가중치 증가가 더 완만하게 이루어지며, 낮을수록 단어 빈도가 높은 경우 더 강한 영향을 미칩니다.
– 조정 방법:
– k1 값을 낮게 설정하면 단어 빈도가 높은 경우 더 강한 영향력을 가지게 되므로, 짧은 문서나 단어 빈도가 중요한 검색 환경에 적합합니다.
– k1 값을 높게 설정하면 단어 빈도가 높은 경우 영향력이 완화되므로, 긴 문서나 단어의 반복이 덜 중요한 검색 환경에 적합합니다.

2. **b (Length Normalization 파라미터)**:
– 기본값: 일반적으로 0.75로 설정됩니다.
– 역할: 문서 길이에 따른 정규화 정도를 조정합니다. b가 높을수록 긴 문서가 더 강하게 정규화되고, 낮을수록 문서 길이에 덜 의존합니다.
– 조정 방법:
– b 값을 낮게 설정하면 문서 길이에 대한 정규화 효과가 줄어들어, 짧은 문서와 긴 문서 간의 차이가 덜 중요해집니다.
– b 값을 높게 설정하면 긴 문서가 더 강하게 정규화되어, 짧은 문서가 상대적으로 더 중요하게 평가됩니다.

BM25와 다른 벡터 기반 모델(e.g., Word2Vec, BERT)의 차별성은 다음과 같습니다:

1. **BM25**:
– 전통적인 정보 검색 알고리즘으로, 단어의 빈도(TF)와 역문서빈도(IDF)를 기반으로 계산하며, 문서 길이에 대한 정규화를 포함합니다.
– 단어 간의 의미적 관계를 고려하지 않고, 단어 자체의 빈도와 분포에 초점을 맞춥니다.
– 계산이 상대적으로 간단하고 빠르며, 특정 검색 환경에서 높은 성능을 발휘할 수 있습니다.

2. **Word2Vec**:
– 단어를 벡터로 표현하여 단어 간의 의미적 유사성을 측정합니다.
– 단어의 문맥 정보를 활용하여 단어 간 관계를 학습하며, 단순히 단어 빈도에 의존하지 않습니다.
– 단어의 의미적 유사성을 파악하는 데 강점이 있지만, 검색 결과의 순위 결정에는 추가적인 알고리즘이 필요합니다.

3. **BERT**:
– 문맥 기반의 딥러닝 모델로, 단어의 의미뿐만 아니라 문장 전체의 의미를 학습합니다.
– 문장 간의 복잡한 관계와 문맥을 이해하며, 더 정교한 검색 결과를 제공할 수 있습니다.
– 계산 비용이 높고, 대규모 데이터와 강력한 연산 자원이 필요합니다.

BM25는 간단하고 효율적이며, 특정 정보 검색 환경에서 여전히 널리 사용됩니다. 하지만 Word2Vec과 BERT는 단어의 의미적 관계를 더 잘 파악하고 문맥을 이해하는 데 강점이 있어, BM25와는 다른 방식으로 검색 성능을 향상시킬 수 있습니다. 각 모델은 특정 상황에 맞게 선택적으로 활용될 수 있습니다.