ㅁ 시퀀스 처리

ㅇ 정의:
시퀀스 데이터를 처리하거나 모델에 입력하기 위해 특수 토큰 및 패딩 방식을 사용하는 기법.

ㅇ 특징:
– 시퀀스 길이를 맞추기 위해 패딩을 추가하거나, 특정 토큰을 활용해 모델의 학습 및 추론을 유도.
– NLP에서 주로 사용되며, 예측 및 마스킹을 통해 문맥 정보를 학습.

ㅇ 적합한 경우:
– 입력 데이터의 길이가 가변적인 경우.
– 특정 단어 또는 문장의 일부를 예측하거나, 문맥을 보존해야 하는 경우.

ㅇ 시험 함정:
– 패딩 토큰을 학습 과정에서 무시하지 않으면 모델 성능 저하.
– 특수 토큰의 위치와 역할을 정확히 이해하지 못하면 모델 동작을 잘못 해석할 가능성.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 토큰은 모델이 특정 위치의 단어를 예측하도록 유도한다.
– X: 토큰은 항상 문장의 끝에 위치한다.

================================

1.

ㅇ 정의:
자연어 처리에서 특정 단어를 숨기고 해당 단어를 모델이 예측하도록 유도하는 특수 토큰.

ㅇ 특징:
– BERT 모델 등에서 사용되며, 문맥 기반의 단어 예측을 가능하게 함.
– 학습 과정에서 정답 단어를 제공하여 모델이 문맥을 이해하도록 학습.

ㅇ 적합한 경우:
– 문장의 일부를 마스킹하여 문맥 기반의 단어 예측을 학습할 때.
– 문장 내 특정 단어의 의미를 문맥적으로 이해해야 하는 경우.

ㅇ 시험 함정:
– 토큰을 지나치게 많이 사용하면 모델의 문맥 이해 능력이 떨어질 수 있음.
– 토큰의 사용 위치를 잘못 설정하면 학습 데이터의 왜곡이 발생할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 는 BERT 모델의 사전 학습 과정에서 사용된다.
– X: 는 항상 문장의 첫 번째 단어로만 나타난다.

ㅁ 추가 학습 내용

1. 토큰이 BERT 외의 다른 모델에서 어떻게 변형되어 사용되는지 학습하기 위해 RoBERTa와 ALBERT의 특징을 비교합니다. RoBERTa는 BERT와 동일한 토큰을 사용하지만, 학습 시 더 많은 데이터를 활용하고, 동적 마스킹(dynamic masking)을 도입해 더 다양한 마스킹 패턴을 학습합니다. 반면 ALBERT는 매개변수 공유(parameter sharing)와 같은 경량화 기술을 사용하면서도 토큰을 활용하여 메모리 효율성을 높입니다. 이처럼 두 모델은 토큰의 기본 개념을 유지하면서도 학습 전략과 모델 구조를 다르게 설계하여 성능을 개선합니다.

2. 토큰과 관련된 일반적인 학습 손실 함수로는 Masked Language Modeling(MLM)이 있습니다. MLM은 입력 텍스트에서 일부 단어를 토큰으로 대체한 후, 모델이 이 마스킹된 단어를 예측하도록 학습시키는 방식입니다. 이를 위해 크로스 엔트로피 손실 함수가 주로 사용되며, 모델이 예측한 확률 분포와 실제 정답 단어의 분포 간의 차이를 최소화합니다. 학습 과정에서 마스킹 비율과 마스킹된 단어의 위치가 모델 성능에 큰 영향을 미치므로 적절한 설계가 중요합니다.

3. 특수 토큰은 다국어 처리(Multilingual NLP)에서 언어 간 구분과 문맥 이해를 돕는 데 활용됩니다. 예를 들어 mBERT와 XLM-R 같은 다국어 모델에서는 언어 식별 토큰이나 와 같은 특수 토큰을 사용하여 여러 언어의 문장을 통합적으로 처리합니다. 한 가지 사례로, 특정 언어의 문장을 다른 언어로 번역할 때, 입력 문장 앞에 언어 식별 토큰을 추가하여 모델이 번역 대상 언어를 인식하도록 도울 수 있습니다. 이러한 방식은 다국어 환경에서 모델의 유연성과 정확성을 높이는 데 기여합니다.