ㅁ 사전학습/언어모델 기법/토큰/Task

ㅇ 정의:
사전학습된 언어모델에서 문장 간 관계를 학습하기 위해 사용되는 Task로, 두 문장이 연속적인지 여부를 판단하는 방식.

ㅇ 특징:
– BERT 모델에서 대표적으로 사용된 기법.
– 문장 간의 논리적 연결성을 학습하여 문맥 이해도를 향상.
– 예/아니오로 분류하는 이진 분류 문제로 구성.

ㅇ 적합한 경우:
– 문장 간 관계를 파악해야 하는 자연어 처리 문제.
– 문서 내 문장 순서 복원 및 요약 작업.

ㅇ 시험 함정:
– NSP와 MLM(Masked Language Model) 간의 차이를 혼동할 가능성.
– NSP의 결과가 문장 순서에만 의존한다고 오해할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– NSP는 문장 간 관계를 판단하는 데 사용된다. (O)
– NSP는 단어 간 관계를 학습하는 데 사용된다. (X)

================================

1. NSP

ㅇ 정의:
두 문장이 연속적인지 여부를 판단하는 Task로, 문장 간의 관계를 학습하기 위해 사용됨.

ㅇ 특징:
– BERT 모델에서 도입된 주요 기법.
– 이진 분류 문제로 구성되며, “연속적” 또는 “비연속적”으로 분류.
– 문장 간의 의미적 연결성을 학습하여 텍스트 이해도를 높임.

ㅇ 적합한 경우:
– 문장 간 순서 복원 문제.
– 요약 및 추론 기반 자연어 처리.

ㅇ 시험 함정:
– NSP의 목적이 문맥 이해라는 점을 간과할 수 있음.
– NSP와 다른 사전학습 기법(예: MLM) 간의 차이를 혼동할 가능성.

ㅇ 시험 대비 “패턴 보기” 예시:
– NSP는 문장 간 순서를 복원하는 데 효과적이다. (O)
– NSP는 단어의 의미를 예측하기 위해 사용된다. (X)

ㅁ 추가 학습 내용

1. BERT 사전학습의 핵심은 NSP(Next Sentence Prediction)와 MLM(Masked Language Modeling)의 조합에 있습니다. MLM은 문장에서 일부 단어를 마스킹한 후 이를 예측하는 방식으로, 문맥을 이해하는 능력을 키우는 데 초점을 둡니다. NSP는 두 문장이 주어졌을 때, 두 문장이 실제로 연속적인지 여부를 판단하는 작업으로, 문장 간 관계를 학습하도록 설계되었습니다. 이 두 가지 작업의 조합은 BERT가 문맥과 문장 간 관계를 모두 이해할 수 있도록 돕습니다.

2. NSP에는 한계점이 존재합니다. 주요 비판 중 하나는 NSP가 문장 간 관계를 단순히 순서에 기반해 판단한다는 점입니다. 이는 문장 간의 실제 의미적 연결이나 상호작용을 충분히 반영하지 못할 수 있다는 우려로 이어집니다. 따라서 NSP는 문장 간 관계를 심층적으로 이해하기보다는 표면적인 순서에 의존하는 경향이 있다는 점을 학습할 필요가 있습니다.

3. NSP의 독창성을 더 깊이 이해하기 위해 SOP(Sentence Order Prediction)와 같은 다른 작업과 비교할 수 있습니다. SOP는 문장 순서 예측에 초점을 맞추며, NSP와 유사하지만 두 문장이 연속적 관계인지 여부를 판단하기보다는 문장의 순서를 올바르게 예측하는 데 중점을 둡니다. 이러한 비교를 통해 NSP가 단순한 순서 판단 작업에 머물러 있는지, 아니면 문장 간 관계를 학습하는 데 있어 독창적인 기여를 하는지를 평가할 수 있습니다. SOP와 같은 대안적인 작업은 NSP의 한계를 보완할 수 있는 가능성을 제공하며, 이를 통해 BERT 사전학습의 개선 방향을 모색할 수 있습니다.