ㅁ 토큰 및 임베딩 특수 처리

ㅇ 정의:
텍스트 데이터를 처리할 때, 단어를 고정된 크기의 서브워드 단위로 분할하는 방법. 특히 희귀 단어나 새로운 단어를 처리하기 위해 사용됨.

ㅇ 특징:
– 데이터에 자주 등장하는 서브워드를 우선적으로 선택하여 효율적으로 표현.
– 새로운 단어나 희귀 단어를 서브워드 조합으로 표현 가능.
– 어휘 크기를 제한하면서도 희귀 단어의 표현력을 높임.

ㅇ 적합한 경우:
– 희귀 단어가 많은 언어 데이터를 처리할 때.
– 어휘 크기를 제한하면서도 높은 표현력을 유지해야 할 때.

ㅇ 시험 함정:
– BPE를 사용하는 경우와 그렇지 않은 경우의 차이를 묻는 문제에서, 단순히 어휘 크기만을 기준으로 답변하면 오답이 될 수 있음.
– BPE가 모든 경우에 적합하다는 오해를 유도하는 문제.

ㅇ 시험 대비 “패턴 보기” 예시:
1. BPE는 텍스트 데이터를 단어 단위로 분할한다. (X)
2. BPE는 희귀 단어를 처리하기 위해 서브워드 단위로 분할한다. (O)

================================

1. Byte-Pair Encoding

ㅇ 정의:
텍스트 데이터에서 자주 등장하는 문자 쌍을 반복적으로 병합하여 서브워드 단위를 생성하는 알고리즘.

ㅇ 특징:
– 병합 규칙을 학습 데이터에서 생성하며, 동일한 규칙을 새로운 데이터에 적용 가능.
– 어휘 크기를 조정하여 모델의 메모리 사용량과 처리 속도를 제어 가능.
– 희귀 단어를 처리할 수 있지만, 지나치게 작은 서브워드 단위는 의미를 잃을 수 있음.

ㅇ 적합한 경우:
– 다국어 처리에서 공통된 서브워드 표현을 사용하고자 할 때.
– 제한된 자원에서 어휘 크기를 줄이면서도 성능을 유지하려 할 때.

ㅇ 시험 함정:
– BPE가 항상 최적의 성능을 보장한다고 생각하면 오답이 될 수 있음.
– 병합 규칙이 고정되어 있어, 새로운 언어 데이터에 유연하지 않다는 점을 간과할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
1. BPE는 텍스트 데이터를 서브워드 단위로 분할하기 위해 자주 등장하는 문자 쌍을 병합한다. (O)
2. BPE는 모든 언어 데이터에 동일한 성능을 보장한다. (X)

================================

ㅁ 추가 학습 내용

BPE, WordPiece, SentencePiece의 한계점과 차이, 그리고 장단점을 정리한 학습 내용은 다음과 같습니다.

1. BPE (Byte Pair Encoding)
– 특징: 자주 등장하는 문자 쌍을 병합하여 서브워드를 생성하는 방식.
– 한계점: 공백을 별도로 처리하지 않으며, 유니코드 표준화를 지원하지 않음. 또한, 병합 규칙이 고정적이어서 유연성이 부족함.
– 장점: 구현이 간단하고 학습 속도가 빠름.
– 단점: 언어적 맥락을 고려하지 못하며, 희귀 단어 처리에 어려움이 있음.

2. WordPiece
– 특징: 확률 기반으로 서브워드를 선택하며, 언어 모델의 확률을 최대화하는 방식으로 작동.
– 한계점: BPE에 비해 계산 비용이 더 높을 수 있음.
– 장점: 언어적 맥락을 더 잘 반영하며, 희귀 단어 처리에서 더 나은 성능을 보임.
– 단점: 복잡도가 상대적으로 높아 학습 시간이 오래 걸릴 수 있음.

3. SentencePiece
– 특징: BPE와 유사하지만, 입력 텍스트를 공백을 포함한 문자열로 간주하며, 유니코드 표준화를 지원.
– 한계점: 공백을 포함한 처리로 인해 일부 경우에는 불필요한 서브워드가 생성될 수 있음.
– 장점: 공백 처리와 유니코드 표준화를 지원하여 다양한 언어에 대해 더 유연하게 작동.
– 단점: BPE에 비해 상대적으로 느릴 수 있음.

비교 요약:
– BPE는 간단하고 빠르지만 유연성이 부족하며, WordPiece는 확률 기반으로 더 정교한 처리가 가능하지만 계산 비용이 높음.
– SentencePiece는 공백과 유니코드 표준화를 지원하여 다국어 처리에 강점을 가지며, BPE와 WordPiece의 한계를 보완하려는 시도가 돋보임.

시험 대비를 위해 이들 알고리즘의 특징, 한계점, 장단점을 명확히 구분하여 이해하는 것이 중요합니다.