ㅁ 시퀀스 처리

ㅇ 정의:
– 시퀀스 데이터를 처리할 때, 모델이 입력 데이터를 이해하고 학습할 수 있도록 특정 구조를 부여하는 과정.

ㅇ 특징:
– 입력 데이터의 길이가 가변적일 경우 패딩을 활용하여 고정된 길이로 조정.
– 특수 토큰을 사용하여 데이터의 시작, 끝 또는 특정 정보를 표시.

ㅇ 적합한 경우:
– 자연어 처리(NLP) 작업에서 가변적인 문장 길이를 다룰 때.
– 시퀀스 데이터의 특정 부분을 강조하거나 구분해야 하는 경우.

ㅇ 시험 함정:
– 패딩과 특수 토큰의 역할을 혼동하거나, 모델이 이를 어떻게 처리하는지 이해하지 못할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 패딩은 시퀀스 데이터를 고정된 길이로 조정하는 데 사용된다.
– X: 특수 토큰은 모델의 출력 길이를 조정하기 위해 사용된다.

================================

1.

ㅇ 정의:
– 입력 시퀀스의 전체 정보를 요약하여 모델의 출력으로 전달하는 특수 토큰.

ㅇ 특징:
– 입력 시퀀스의 첫 번째 위치에 삽입.
– 문장 분류 작업에서 주요한 역할을 수행.

ㅇ 적합한 경우:
– 문장 분류, 감정 분석, 문서 요약 등 시퀀스의 전체 정보를 필요로 하는 작업.

ㅇ 시험 함정:
– 토큰을 단순히 시퀀스의 시작을 나타내는 역할로 오해할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 토큰은 입력 시퀀스의 전체 정보를 요약하는 데 사용된다.
– X: 토큰은 입력 시퀀스의 끝에 삽입된다.

ㅁ 추가 학습 내용

시퀀스 처리에서 특수 토큰들의 역할과 사용 사례는 다음과 같이 정리할 수 있습니다:

1. 토큰:
– 역할: 서로 다른 문장을 구분하는 데 사용됩니다. 예를 들어, 두 문장을 하나의 입력으로 처리해야 할 때 각 문장의 경계를 명확히 하기 위해 사용됩니다.
– 사용 사례: BERT 모델에서는 두 문장을 입력으로 받을 때 문장 사이에 토큰을 삽입하여 문장을 구분합니다.

2. 토큰:
– 역할: 특정 단어를 마스킹하여 모델이 해당 단어를 예측하도록 학습하는 데 사용됩니다.
– 사용 사례: 마스킹 언어 모델링(MLM) 방식에서 사용되며, BERT 모델의 사전 학습 과정에서 입력 문장의 일부 단어를 로 대체하고 모델이 이를 추론하도록 합니다.

3. 패딩 처리:
– 역할: 시퀀스의 길이를 맞추기 위해 짧은 문장에 패딩을 추가합니다. 이는 배치 처리를 용이하게 하기 위해 필요합니다.
– 모델의 처리 방식: 패딩된 부분은 실제 입력 데이터가 아니므로, 모델이 이를 무시하도록 설계됩니다. 이를 위해 패딩 마스크(Padding Mask)를 사용하여 패딩된 위치를 표시하고, 모델이 이 위치를 계산에 포함하지 않도록 합니다.

이러한 특수 토큰과 패딩 처리 방식에 대한 이해는 시퀀스 처리 모델을 학습하고 사용할 때 중요한 부분입니다.