ㅁ IR/Vector

ㅇ 정의:
정보 검색(Information Retrieval)에서 벡터 공간 모델을 활용하여 문서와 쿼리 간의 유사도를 계산하고, 관련 문서를 검색하는 기법.

ㅇ 특징:
– 문서와 쿼리를 벡터로 표현하여 코사인 유사도 등을 통해 유사성을 계산.
– 텍스트 데이터의 구조를 벡터화하여 수학적 계산이 가능.
– 대규모 데이터셋에서 효율적으로 작동.

ㅇ 적합한 경우:
– 텍스트 기반 데이터 검색이 필요한 경우.
– 검색 결과의 순위화를 통해 관련성이 높은 결과를 제공하고자 할 때.

ㅇ 시험 함정:
– 벡터 공간 모델의 한계를 이해하지 못하고 무조건적인 적용.
– 쿼리와 문서 간의 유사도 계산에서 코사인 유사도의 개념을 혼동.

ㅇ 시험 대비 “패턴 보기” 예시:
– “IR에서 벡터 공간 모델은 문서와 쿼리를 유사도로 매칭한다.” (O)
– “벡터 공간 모델은 문서의 순서를 고려하지 않는다.” (O)
– “벡터 공간 모델은 텍스트의 문법적 구조를 직접적으로 분석한다.” (X)

================

1. MMR

ㅇ 정의:
Maximum Marginal Relevance의 약자로, 검색 결과의 다양성과 관련성을 동시에 고려하여 최적의 순위를 제공하는 기법.

ㅇ 특징:
– 중복된 결과를 줄이고, 다양한 정보를 포함한 결과를 제공.
– 쿼리와의 유사성과 기존 선택된 문서 간의 차이를 동시에 고려.
– 결과의 품질을 높이기 위해 정렬 알고리즘에 사용.

ㅇ 적합한 경우:
– 검색 결과의 다양성과 관련성이 모두 중요한 상황에서.
– 중복된 결과를 최소화하고자 할 때.

ㅇ 시험 함정:
– MMR의 목적을 단순히 중복 제거로만 이해.
– 다양성과 관련성 간의 균형을 고려하지 않은 설명.

ㅇ 시험 대비 “패턴 보기” 예시:
– “MMR은 검색 결과의 다양성을 고려한다.” (O)
– “MMR은 유사성을 무조건 최우선으로 한다.” (X)
– “MMR은 기존 선택된 문서와의 차이를 고려하지 않는다.” (X)

ㅁ 추가 학습 내용

MMR과 관련하여 학습하기 좋은 추가 개념은 다음과 같습니다:

1. MMR의 계산 공식 및 가중치 조정 방법:
– MMR(Maximal Marginal Relevance)의 계산 공식은 다양성과 관련성을 균형 있게 고려하는 방법을 수학적으로 나타냅니다.
– 공식은 일반적으로 MMR = λ * Rel(d) – (1 – λ) * Div(d, S)로 표현되며, 여기서 λ는 다양성과 관련성 간의 균형을 조정하는 가중치입니다.
– Rel(d)는 문서 d의 관련성을 나타내고, Div(d, S)는 문서 d가 이미 선택된 문서 집합 S와 얼마나 다른지를 측정합니다.
– λ 값을 조정함으로써 다양성과 관련성의 비중을 바꿀 수 있으며, 적절한 λ 값을 선택하는 것이 중요합니다.

2. 실제 사례:
– 검색 엔진: MMR은 검색 엔진에서 사용자 쿼리에 대한 검색 결과를 정렬할 때 사용됩니다. 예를 들어, 유사한 결과가 상위에 중복되지 않도록 하면서도 사용자의 의도에 맞는 관련성 높은 결과를 제공할 때 유용합니다.
– 추천 시스템: 영화 추천 시스템이나 전자상거래 플랫폼에서 다양한 추천 리스트를 생성할 때 MMR이 활용됩니다. 예를 들어, 사용자가 이미 본 영화와 유사한 영화뿐만 아니라 새로운 장르의 영화를 추천할 때 MMR의 원리가 적용됩니다.

3. 한계점:
– MMR의 계산 비용: MMR은 선택된 문서 집합 S와 새로운 문서 간의 다양성을 계산해야 하므로, 데이터 규모가 커질수록 계산 비용이 높아질 수 있습니다.
– 적용되지 않는 상황: MMR은 다양성과 관련성을 동시에 고려해야 할 경우에 적합하지만, 특정 상황에서는 관련성만을 우선시하거나 다양성만을 고려해야 할 수도 있습니다. 예를 들어, 특정한 답변이 필요한 경우 다양성은 중요하지 않을 수 있습니다.
– 파라미터 설정의 어려움: λ 값의 선택은 결과의 품질에 큰 영향을 미치며, 적절한 값을 찾는 것이 어려울 수 있습니다. 잘못된 λ 값은 다양성과 관련성 간의 균형을 해칠 수 있습니다.