ㅁ 인코딩

ㅇ 정의:
데이터를 컴퓨터가 처리할 수 있는 형식으로 변환하는 과정.

ㅇ 특징:
– 데이터를 수치형으로 변환하여 머신러닝 모델이 이해할 수 있도록 함.
– 범주형 데이터와 같은 비수치 데이터를 처리하는 데 주로 사용됨.

ㅇ 적합한 경우:
– 머신러닝과 딥러닝 모델에 비수치 데이터를 입력해야 할 때.
– 데이터 분석에서 범주형 데이터를 수치형으로 변환할 필요가 있을 때.

ㅇ 시험 함정:
– 인코딩 방법이 항상 데이터를 개선하는 것은 아님. 잘못된 인코딩은 모델 성능을 저하시킬 수 있음.
– One-Hot Encoding과 Embedding의 차이를 혼동할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
1. “인코딩은 데이터를 시각적으로 더 잘 이해하기 위한 과정이다.” (X)
2. “One-Hot Encoding은 데이터의 차원을 증가시킬 수 있다.” (O)

================================

1. Embedding

ㅇ 정의:
고차원 데이터를 저차원으로 변환하면서, 데이터의 의미적 유사성을 보존하는 기법.

ㅇ 특징:
– 단어, 사용자, 아이템 등의 관계를 벡터 공간에서 표현.
– 차원 축소와 데이터의 유사성 보존이 핵심.
– 딥러닝 모델에서 주로 사용됨.

ㅇ 적합한 경우:
– 자연어 처리(NLP)에서 단어 간의 의미적 관계를 표현할 때.
– 추천 시스템에서 사용자와 아이템 간의 관계를 학습할 때.

ㅇ 시험 함정:
– Embedding이 항상 고차원을 저차원으로 변환하는 것은 아님.
– Word2Vec, GloVe와 같은 특정 방법론의 차이를 묻는 문제에서 혼동 가능.

ㅇ 시험 대비 “패턴 보기” 예시:
1. “Embedding은 데이터를 고차원으로 변환하여 분석한다.” (X)
2. “Word2Vec은 Embedding의 한 예이다.” (O)

================================

ㅁ 추가 학습 내용

Embedding 기법은 데이터를 고차원 공간에서 저차원 공간으로 변환하여 의미를 보존하면서 계산 효율성을 높이는 방법입니다. 여기서는 대표적인 Embedding 기법과 그 차이점, 그리고 활용 사례를 정리합니다.

1. **Embedding 기법의 구체적인 방법론**
– **Word2Vec**:
Word2Vec은 단어를 벡터로 표현하는 방법으로, Skip-Gram과 CBOW(Continuous Bag of Words)라는 두 가지 알고리즘을 사용합니다. Skip-Gram은 특정 단어를 중심으로 주변 단어를 예측하는 방식이며, CBOW는 주변 단어를 기반으로 중심 단어를 예측합니다. 이 기법은 단어 간의 문맥적 유사성을 효과적으로 학습할 수 있습니다.
– **GloVe (Global Vectors for Word Representation)**:
GloVe는 단어 간의 통계적 정보를 활용해 벡터를 생성합니다. 특히, 단어의 공기 행렬(co-occurrence matrix)을 기반으로 전체 문맥 정보를 반영하여 단어 간의 관계를 학습합니다. Word2Vec과는 달리 GloVe는 전체 데이터 세트를 한 번에 처리하여 글로벌한 관계를 학습하는 데 강점이 있습니다.
– **FastText**:
FastText는 Word2Vec의 확장 버전으로, 단어를 개별적으로 처리하는 대신 단어를 여러 개의 문자 단위(서브워드)로 나누어 학습합니다. 이러한 방식은 희귀 단어와 단어의 형태적 정보를 더 잘 반영할 수 있어, 언어의 특수한 문법적 구조를 처리하는 데 효과적입니다.

2. **Embedding 기법 간의 차이**
– Word2Vec은 단어의 문맥적 관계를 학습하지만, 희귀 단어 처리에는 약점이 있습니다.
– GloVe는 단어 간의 글로벌 관계를 학습하며, 대규모 데이터에서 효율적입니다.
– FastText는 단어를 서브워드로 나누어 처리하므로 희귀 단어와 형태적 정보를 더 잘 반영합니다.

3. **Embedding의 활용 사례**
– **추천 시스템**:
Embedding은 사용자와 아이템 간의 관계를 벡터로 표현하여 추천 시스템에서 활용됩니다. 예를 들어, Word2Vec과 같은 기법을 사용해 사용자와 아이템의 내역을 학습하고, 유사성 계산을 통해 추천을 수행할 수 있습니다.
– **자연어 처리**:
자연어 처리에서는 텍스트 데이터를 벡터로 변환하여 문장 분류, 감정 분석, 번역 등 다양한 작업에 활용됩니다. Embedding은 텍스트의 문맥적 의미를 보존하여 효율적으로 처리할 수 있도록 돕습니다.
– **그래프 데이터에서의 활용 (Graph Embedding)**:
그래프 데이터에서는 노드와 엣지의 관계를 벡터로 표현하는 Graph Embedding이 사용됩니다. 이를 통해 그래프 구조를 저차원 공간에서 학습하며, 노드 분류, 링크 예측, 클러스터링 등의 작업에 활용됩니다. 대표적인 Graph Embedding 기법으로는 Node2Vec, DeepWalk, GraphSAGE 등이 있습니다. Graph Embedding은 네트워크 분석, 추천 시스템, 지식 그래프 등 다양한 분야에서 유용합니다.

이와 같은 정리된 내용을 통해 Embedding 기법의 차이와 활용 사례를 명확히 이해할 수 있습니다.