ㅁ 사전학습/언어모델 기법/토큰/Task

ㅇ 정의:
사전학습 언어모델에서 문장 내 특정 구간(Span)을 마스킹하여 모델이 해당 구간의 내용을 예측하도록 학습하는 기법.

ㅇ 특징:
– 단어 단위가 아닌 연속된 텍스트 구간을 마스킹.
– 모델이 문맥을 더 넓게 이해할 수 있도록 도움.
– BERT와 같은 트랜스포머 기반 모델에서 주로 활용됨.

ㅇ 적합한 경우:
– 문맥 이해가 중요한 자연어 처리(NLP) 작업.
– 긴 문장에서 특정 구간의 의미를 추론해야 하는 과제.

ㅇ 시험 함정:
– 단순히 단어 마스킹과 혼동할 수 있음.
– Span의 길이와 위치가 학습 성능에 영향을 미칠 수 있다는 점을 간과할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
1. Span Masking은 단어 단위 마스킹과 동일하다. (X)
2. Span Masking은 문장의 특정 구간을 마스킹하여 모델이 예측하도록 학습시키는 기법이다. (O)
3. Span Masking은 문맥 이해를 방해한다. (X)

ㅁ 추가 학습 내용

Span Masking에 대한 추가 학습 내용을 다음과 같이 정리할 수 있습니다:

1. Span Masking의 주요 활용 사례:
Span Masking은 텍스트의 연속된 구간(Span)을 마스킹하여 모델이 문맥을 이해하고 복원하도록 학습시키는 기법입니다. 이 방법은 특히 기계 독해(Machine Reading Comprehension) 작업에서 유용합니다. 모델이 단어뿐만 아니라 문맥 내에서의 연속적인 정보 관계를 학습할 수 있어, 문장 구조와 의미 이해가 필요한 작업에 강점을 보입니다. 또한 텍스트 생성, 요약, 번역 등에서도 활용될 수 있습니다.

2. Span Masking의 구현 방식:
Span Masking은 마스킹할 구간을 임의로 선택하는 방식으로 구현됩니다. 마스킹 구간의 시작 위치와 길이를 랜덤하게 설정하며, 길이는 일반적으로 확률 분포(예: 포아송 분포)를 통해 결정됩니다. 이를 통해 모델이 다양한 길이의 연속된 텍스트를 학습할 수 있도록 합니다. 마스킹된 구간은 특정 토큰(예: [MASK])으로 대체되거나, 일부는 원래 단어로 유지되기도 하여 학습의 다양성을 제공합니다.

3. Span Masking이 다른 언어모델 기법과 비교하여 가지는 장단점:
Span Masking은 단어 단위 마스킹보다 문맥 정보를 더 잘 학습할 수 있다는 장점이 있습니다. 단어 단위 마스킹은 개별 단어에 초점을 맞추는 반면, Span Masking은 연속된 단어 구간을 마스킹하여 문장 구조와 의미적 일관성을 학습합니다. 반면, 문장 마스킹과 비교했을 때는 더 세부적인 문맥 정보를 학습할 수 있으며, 문장 전체를 마스킹하는 것보다 학습 효율이 높을 수 있습니다. 그러나 Span Masking은 구현 및 마스킹 구간 설정이 더 복잡할 수 있다는 단점이 있습니다.

4. Span Masking이 학습 데이터의 크기와 품질에 미치는 영향:
Span Masking은 학습 데이터의 품질과 크기에 따라 성능이 달라질 수 있습니다. 데이터가 충분히 크고 다양한 경우, Span Masking은 모델이 다양한 문맥을 학습하는 데 유리합니다. 그러나 데이터가 적거나 품질이 낮은 경우, 마스킹된 구간에 대한 충분한 문맥 학습이 어려울 수 있습니다. 따라서 Span Masking을 효과적으로 활용하려면 대규모의 고품질 데이터를 확보하는 것이 중요합니다.