ㅁ 시퀀스 처리

ㅇ 정의:
– 시퀀스 데이터(문장, 시간 시계열 등)를 처리하는 작업으로, 입력 데이터의 순서와 구조를 유지하며 모델 학습 및 예측을 수행.

ㅇ 특징:
– 순차적인 데이터 구조를 다룸.
– 데이터 길이를 맞추기 위해 패딩이나 특수 토큰을 활용.
– Recurrent Neural Networks(RNN), Transformer 등의 모델에서 주로 사용.

ㅇ 적합한 경우:
– 자연어 처리(NLP)에서 문장 단위의 데이터 처리.
– 음성 신호, 주식 가격 등 시간에 따라 변하는 데이터를 분석할 때.

ㅇ 시험 함정:
– 시퀀스 데이터가 항상 시간 순서를 의미하는 것은 아님.
– 패딩 토큰과 실제 데이터의 차이를 혼동할 가능성.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 시퀀스 처리는 데이터의 순서를 유지하며 모델 학습에 활용된다.
– X: 시퀀스 처리는 항상 시간 시계열 데이터를 처리하는 데만 사용된다.

================================

1.

ㅇ 정의:
– 문장 또는 시퀀스 간의 구분을 위해 사용되는 특수 토큰으로, 모델이 입력 데이터의 경계를 인식할 수 있도록 함.

ㅇ 특징:
– BERT 등 Transformer 모델에서 주로 사용.
– 입력 데이터가 여러 문장으로 구성된 경우에 각 문장을 구분하는 역할.

ㅇ 적합한 경우:
– 다중 문장 입력을 처리해야 하는 NLP 작업.
– 문장 간 관계를 학습해야 하는 분류 또는 회귀 작업.

ㅇ 시험 함정:
– 토큰의 위치가 항상 문장 끝에만 배치된다고 오해할 수 있음.
– 모델에 따라 토큰이 생략되거나 다른 특수 토큰으로 대체될 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 토큰은 문장 경계를 구분하기 위해 사용된다.
– X: 토큰은 단어 간의 순서를 나타내는 데 사용된다.

ㅁ 추가 학습 내용

시험 대비를 위한 학습 노트:

1. 특수 토큰의 역할과 차이점:
– : 문장 또는 문단을 구분하는 역할을 합니다. 여러 문장이 입력될 때 각 문장의 경계를 명확히 하기 위해 사용됩니다.
– : 문장의 전체 표현을 나타내는 데 사용됩니다. 주로 문장 분류 작업에서 활용되며, 모델의 출력에서 위치의 벡터를 사용하여 문장의 의미를 파악합니다.
– : 입력 텍스트에서 특정 단어를 가리고, 모델이 해당 단어를 예측하도록 학습하는 데 사용됩니다. 이는 언어 모델의 사전 학습(Pre-training) 과정에서 중요한 역할을 합니다.

2. 토큰의 활용 사례:
– 문장 분류: 두 문장을 로 구분하여 모델에 입력하면, 모델은 토큰의 출력 벡터를 기반으로 문장의 카테고리를 예측합니다. 예를 들어, 감정 분석에서는 입력 문장의 감정을 분류하는 데 사용됩니다.
– 문장 유사도 계산: 두 문장을 로 구분하여 입력하면, 모델은 두 문장의 의미적 유사도를 계산할 수 있습니다. 예를 들어, 질의응답 시스템에서 질문과 답변의 관련성을 평가하는 데 활용됩니다.