ㅁ 검색 생성 융합

ㅇ 정의:
검색 생성 융합은 대규모 언어 모델(LLM)이 응답을 생성하기 전에 외부 지식베이스나 검색 시스템으로부터 관련 정보를 검색하고, 이를 생성 과정에 통합하는 기술을 의미한다.

ㅇ 특징:
– 검색 단계와 생성 단계를 결합하여 최신성, 정확성을 높임.
– 검색 결과를 컨텍스트로 제공하여 환각(hallucination) 감소.
– 검색 품질이 전체 성능에 직접적인 영향을 미침.

ㅇ 적합한 경우:
– 최신 정보가 필요한 질의 응답.
– 내부 지식만으로는 부족한 전문 분야 응답.
– 법률, 의료, 기술 문서 검색 기반 생성.

ㅇ 시험 함정:
– 단순 RAG(Retrieval-Augmented Generation)와 혼동.
– 검색과 생성이 완전히 독립된 구조로 오해.
– 검색 품질이 저하되면 생성 품질도 저하되는 점 간과.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “검색된 문서를 기반으로 생성 모델이 응답을 작성한다.”
X: “생성 모델은 검색 과정 없이 모든 답변을 생성한다.”

================================

1. Deep Retrieval Tuning

ㅇ 정의:
Deep Retrieval Tuning은 검색 단계의 성능을 극대화하기 위해 딥러닝 기반 임베딩 모델과 검색 알고리즘을 학습 데이터에 맞게 미세 조정(fine-tuning)하는 기법이다.

ㅇ 특징:
– 대규모 문서 코퍼스를 벡터화하여 의미 기반 검색 가능.
– 특정 도메인에 맞춘 임베딩 학습으로 검색 정확도 향상.
– 학습 시 쿼리-문서 쌍의 의미적 유사도를 최적화.

ㅇ 적합한 경우:
– 도메인 특화 질의 응답 시스템.
– 일반 검색 엔진 대비 높은 정밀도가 필요한 서비스.
– 긴 문서나 비정형 데이터 기반 검색.

ㅇ 시험 함정:
– 단순 키워드 검색과 혼동.
– 임베딩 모델을 사전학습 없이 바로 적용 가능하다고 오해.
– 검색 품질 향상이 생성 품질과 무관하다고 착각.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Deep Retrieval Tuning은 쿼리와 문서의 의미적 유사도를 학습하여 검색 품질을 향상시킨다.”
X: “Deep Retrieval Tuning은 생성 모델의 파라미터만 조정한다.”

ㅁ 추가 학습 내용

Deep Retrieval Tuning 학습 정리

Dense Retrieval과 Sparse Retrieval의 차이
– Dense Retrieval: 문서와 쿼리를 고차원 임베딩 벡터로 변환하여 유사도를 계산. 의미적 유사도 검색에 강점.
– Sparse Retrieval: 전통적인 단어 기반의 희소 벡터(예: TF-IDF, BM25)를 사용하여 정확히 일치하는 단어 중심으로 검색. 키워드 매칭에 강점.

벡터 검색에서 사용하는 ANN(Approximate Nearest Neighbor) 알고리즘 원리
– 고차원 벡터 공간에서 가장 가까운 이웃을 근사적으로 빠르게 찾기 위한 방법.
– 전체 벡터를 모두 비교하는 대신, 인덱스 구조(HNSW, IVF, PQ 등)를 사용하여 검색 속도를 향상.

임베딩 차원 수와 검색 속도/정확도의 트레이드오프
– 차원 수가 높을수록 의미 표현력이 좋아져 정확도 상승 가능.
– 하지만 차원 수가 높아지면 저장 공간과 연산량이 증가해 검색 속도가 느려짐.
– 적절한 차원 수 선택이 성능 최적화의 핵심.

파인튜닝 시 Negative Sampling 기법
– 모델이 구분해야 할 잘못된(관련 없는) 예시를 제공하여 학습하는 방법.
– 하드 네거티브: 쿼리와 의미적으로 비슷하지만 실제로는 정답이 아닌 예시. 모델 학습 난이도 높임.
– 소프트 네거티브: 쿼리와 관련성이 낮아 비교적 쉽게 구분 가능한 예시.

GAR 구조에서 Retrieval 단계의 Latency 영향
– Retrieval 단계가 느려지면 전체 응답 시간이 지연됨.
– 검색 속도 최적화가 전체 시스템 응답성 향상에 중요.

검색 인덱스 업데이트 주기와 최신성 유지 전략
– 데이터 변경 주기에 맞춰 인덱스를 정기적으로 재구축하거나 증분 업데이트.
– 최신성 유지가 중요한 경우 실시간 또는 근실시간 업데이트 필요.

멀티모달 검색(텍스트+이미지) 확장 가능성
– 텍스트와 이미지 데이터를 공통 임베딩 공간에 매핑하여 동시에 검색 가능.
– 다양한 데이터 타입을 통합 검색하는 시스템으로 확장 가능.