ㅁ 토큰 및 임베딩 특수 처리

ㅇ 정의:
– 토큰이나 임베딩 단계에서 특정한 특수 처리를 적용하여 모델의 성능을 향상시키는 기술.

ㅇ 특징:
– 주로 Transformer 계열 모델에서 사용되며, 문맥 정보를 더 잘 반영하기 위해 설계됨.
– 계산 효율성을 높이고, 더 나은 일반화 성능을 제공함.

ㅇ 적합한 경우:
– 긴 문장이나 문맥 정보를 잘 반영해야 하는 자연어 처리 작업.
– 기존의 절대적 위치 임베딩이 한계를 보이는 경우.

ㅇ 시험 함정:
– Relative Positional Embedding과 Absolute Positional Embedding의 차이를 혼동할 수 있음.
– 특정 응용 사례에서의 효과를 과대평가하거나 과소평가하는 질문에 주의.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Relative Positional Embedding은 문맥 간의 상대적 위치 정보를 반영한다.
– X: Relative Positional Embedding은 항상 절대적 위치 정보를 무시한다.

================================

1. Relative Positional Embedding

ㅇ 정의:
– Transformer 모델에서 문맥 간의 상대적 위치 정보를 학습하기 위해 사용되는 임베딩 기법.

ㅇ 특징:
– 문장 내에서 단어 간의 상대적 위치를 반영하여 더 나은 문맥 이해를 가능하게 함.
– 모델의 일반화 성능을 높이고, 특히 긴 문장에서 효과적임.

ㅇ 적합한 경우:
– 긴 문서 처리, 기계 번역, 문서 요약 등 문맥 의존성이 높은 작업.

ㅇ 시험 함정:
– Relative Positional Embedding이 모든 상황에서 절대적 위치 임베딩보다 우수하다고 단정할 수 없음.
– 특정 모델 구조에서의 구현 차이를 묻는 문제에서 혼동 가능.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Relative Positional Embedding은 Transformer 모델에서 상대적 위치 정보를 반영한다.
– X: 모든 NLP 모델에서 Relative Positional Embedding이 필수적이다.

ㅁ 추가 학습 내용

Relative Positional Embedding과 Absolute Positional Embedding의 주요 차이점을 학습하기 쉽게 정리하면 다음과 같습니다.

1. **Absolute Positional Embedding**:
– 고정된 위치 정보에 기반한 방법입니다.
– 문장의 각 단어가 문장 내에서의 고유한 위치를 나타내는 임베딩 값을 갖습니다.
– 예를 들어, 문장 내에서 첫 번째 단어는 항상 동일한 위치 값을 가지며, 이 값은 입력 시퀀스의 길이에 따라 달라지지 않습니다.
– Transformer 모델에서 자주 사용하는 방식으로, 입력 토큰에 위치 정보를 추가하기 위해 사인(sine)과 코사인(cosine) 함수를 사용하거나 학습 가능한 임베딩 벡터를 활용합니다.
– 단점은 시퀀스 길이가 모델 학습 시 사용된 길이를 초과하거나, 단어 간 상대적 관계를 고려해야 하는 경우 유연성이 떨어질 수 있다는 점입니다.

2. **Relative Positional Embedding**:
– 단어 간의 상대적 위치 정보를 반영하는 방식입니다.
– 특정 단어와 다른 단어 사이의 거리(상대적 위치)를 나타내는 임베딩 값을 사용합니다.
– 문장 내에서 단어가 위치한 절대적인 위치보다는 단어들 간의 관계를 강조합니다.
– 이는 특히 긴 문장이나 문맥 의존성이 강한 작업에서 유리할 수 있습니다.
– 상대적 위치 정보는 Attention 메커니즘의 가중치 계산에 통합되어, 단어 간의 거리에 따라 가중치를 조정합니다.

3. **주요 차이점**:
– Absolute Positional Embedding은 “고정된 위치”에 초점을 맞추는 반면, Relative Positional Embedding은 “단어 간의 거리”에 초점을 둡니다.
– Absolute 방식은 문장의 구조를 고정적으로 반영하지만, Relative 방식은 문맥에 따라 유연하게 반응할 수 있습니다.

4. **적용 사례**:
– Absolute Positional Embedding은 원래 Transformer 모델(예: Vaswani et al., 2017)에서 사용되었습니다.
– Relative Positional Embedding은 Transformer-XL, T5, DeBERTa와 같은 모델에서 활용되며, 긴 문장 처리나 문맥 의존성 강화에 효과적임을 보였습니다.

5. **성능 비교**:
– Relative Positional Embedding은 긴 문장이나 문맥 의존성이 중요한 작업에서 Absolute 방식보다 더 나은 성능을 보이는 경우가 많습니다.
– 예를 들어, Transformer-XL은 Relative Positional Embedding을 통해 긴 문맥을 처리하며, 언어 모델링 작업에서 기존 Transformer보다 우수한 성능을 기록했습니다.
– DeBERTa는 Relative Positional Embedding과 디코더의 개선을 통해 다양한 자연어 처리 작업에서 SOTA(State-of-the-Art) 성능을 달성했습니다.

이와 같은 차이점과 사례를 통해 두 방식의 특성과 적합한 사용 상황을 명확히 이해할 수 있습니다.