ㅁ 검색/추천

ㅇ 정의:
– 검색/추천은 대규모 데이터셋에서 사용자의 쿼리에 적합한 결과를 제공하거나 사용자의 선호도를 기반으로 항목을 추천하는 기술을 말한다.

ㅇ 특징:
– 대규모 데이터셋을 다루며, 정확하고 빠른 결과를 제공하는 것이 핵심이다.
– 사용자 행동 데이터를 기반으로 학습하며, 정형 및 비정형 데이터를 모두 활용한다.

ㅇ 적합한 경우:
– 전자상거래에서 상품 추천, 스트리밍 서비스에서 콘텐츠 추천, 검색 엔진에서 사용자 쿼리 응답 등.

ㅇ 시험 함정:
– 추천 시스템이 항상 정확한 결과를 제공한다고 가정하거나, 검색과 추천의 차이를 혼동하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 추천 시스템은 사용자의 과거 행동 데이터를 기반으로 새로운 항목을 제안한다.
– X: 검색 시스템과 추천 시스템은 동일한 방식으로 작동한다.

================================

1. Dense Embedding

ㅇ 정의:
– Dense Embedding은 고차원 데이터(예: 텍스트, 이미지)를 저차원 연속 벡터 공간으로 변환하여 데이터의 의미적 유사성을 보존하는 표현 방법이다.

ㅇ 특징:
– 고차원 데이터를 효율적으로 표현하며, 유사도 계산에 적합하다.
– 딥러닝 모델(예: Word2Vec, BERT)에서 학습된 벡터를 주로 사용한다.

ㅇ 적합한 경우:
– 문서 간 유사도 계산, 추천 시스템에서 사용자와 아이템 간의 매칭, 자연어 처리에서 의미적 유사성을 파악할 때.

ㅇ 시험 함정:
– Dense Embedding과 Sparse Embedding을 혼동하거나, Dense Embedding이 항상 최적의 결과를 제공한다고 가정하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Dense Embedding은 고차원 데이터를 저차원 연속 벡터로 표현하여 유사도를 계산한다.
– X: Dense Embedding은 모든 경우에 Sparse Embedding보다 성능이 우수하다.

ㅁ 추가 학습 내용

Dense Embedding의 학습 방법과 주요 모델, 그리고 Sparse Embedding과의 비교를 통해 Dense Embedding의 장단점을 명확히 이해하는 데 필요한 내용을 정리하면 다음과 같습니다:

1. Dense Embedding의 학습 방법:
– Dense Embedding은 단어를 고차원 벡터로 표현하며, 이 벡터는 연속적인 실수값으로 구성됩니다. 이를 통해 단어 간의 의미적 유사성을 벡터 공간에서 계산할 수 있습니다.
– 학습 과정은 주로 신경망을 사용하며, 단어의 문맥 정보를 바탕으로 벡터를 업데이트합니다. 이 과정은 단어 간의 의미적 관계를 반영하도록 설계됩니다.
– 대표적인 학습 방법으로는 예측 기반 모델(Word2Vec)과 행렬 분해 기반 모델(GloVe)이 있습니다.

2. 주요 Dense Embedding 모델:
– Word2Vec:
– Google에서 개발한 모델로, Skip-gram과 CBOW(Continuous Bag of Words) 두 가지 알고리즘을 사용합니다.
– Skip-gram은 주어진 단어에서 주변 단어를 예측하는 방식이고, CBOW는 주변 단어로부터 중심 단어를 예측하는 방식입니다.
– 단어 간의 의미적 유사성을 잘 반영하며, 계산 효율이 높습니다.
– GloVe:
– Stanford에서 개발한 모델로, 단어의 동시 등장 행렬을 기반으로 학습합니다.
– 전역적인 통계 정보를 활용하여 단어 벡터를 계산하며, Word2Vec보다 의미적 관계를 더 잘 반영하는 경우가 있습니다.
– BERT:
– Google에서 개발한 트랜스포머 기반 언어 모델로, 문맥을 양방향으로 이해합니다.
– 사전 학습(pretraining) 단계에서 Masked Language Model(MLM)과 Next Sentence Prediction(NSP)을 사용하여 단어와 문장의 문맥적 관계를 학습합니다.
– BERT는 단순한 단어 임베딩을 넘어 문맥에 따라 동적으로 변하는 임베딩을 제공합니다.

3. Dense Embedding과 Sparse Embedding의 비교:
– Dense Embedding:
– 특징: 연속적인 실수값으로 구성된 고차원 벡터.
– 장점: 단어 간의 의미적 유사성을 잘 반영하며, 차원이 낮아 계산 효율이 높음.
– 단점: 학습 과정이 복잡하며, 많은 데이터가 필요함.
– Sparse Embedding:
– 특징: 단어를 희소 벡터로 표현하며, 대부분의 값이 0으로 구성됨(예: One-hot Encoding).
– 장점: 구현이 간단하며, 직관적으로 이해하기 쉬움.
– 단점: 차원이 매우 높아 메모리 사용량이 크고, 단어 간의 의미적 유사성을 반영하지 못함.

4. Dense Embedding의 장단점:
– 장점:
– 단어 간의 의미적 관계를 벡터 공간에서 효과적으로 표현.
– 차원이 낮아 계산 효율성과 저장 효율이 높음.
– 문맥 정보를 반영하여 더 정교한 표현 가능(BERT와 같은 모델의 경우).
– 단점:
– 학습 과정이 복잡하고, 많은 데이터와 계산 자원이 필요.
– 학습된 벡터가 특정 데이터셋에 종속적일 수 있음.

이 내용을 바탕으로 Dense Embedding의 개념과 관련 모델, Sparse Embedding과의 차이점을 명확히 이해하고 시험 준비에 활용할 수 있을 것입니다.