모델: 시퀀스 처리 –
ㅁ 시퀀스 처리
1.
ㅇ 정의:
시퀀스 데이터 처리에서 문장의 시작을 나타내는 특수 토큰(Start of Sequence)으로, 모델이 입력 또는 생성 과정에서 문장의 시작점을 인식하도록 돕는다.
ㅇ 특징:
– 자연어 처리(NLP)에서 주로 사용되며, 디코더 기반 모델에서 문장 생성을 시작할 때 필수적으로 포함.
– 토큰 인덱스 값이 사전에 고정되어 있으며, 학습 시 항상 동일한 위치에서 등장.
– 번역, 요약, 챗봇 응답 생성 등에서 문장 시작을 명확히 구분.
ㅇ 적합한 경우:
– Seq2Seq 모델의 디코더 입력 시작점 설정.
– 언어 모델이 문장 경계를 명확히 학습해야 하는 경우.
– 다중 문장 처리에서 각 문장의 시작을 구분해야 하는 경우.
ㅇ 시험 함정:
–
– 일부 모델에서는
– 토큰 인덱스가 패딩 토큰(
ㅇ 시험 대비 “패턴 보기” 예시:
O: 디코더 입력의 첫 번째 토큰으로
X:
X:
ㅁ 추가 학습 내용