ㅁ 시퀀스 처리

ㅇ 정의:
시퀀스 데이터의 시작과 끝을 처리하기 위해 특수 토큰을 사용하는 방법.

ㅇ 특징:
– 시퀀스의 끝을 명확히 표시하여 모델이 더 효율적으로 학습할 수 있도록 도움.
– 주로 자연어 처리(NLP)에서 사용되며, 끝을 의미하는 토큰이 자주 활용됨.

ㅇ 적합한 경우:
– 가변 길이의 시퀀스 데이터를 처리할 때.
– 문장의 끝을 명확히 구분해야 하는 경우.

ㅇ 시험 함정:
– 토큰의 위치를 잘못 이해하거나, 모델이 이를 무시하는 경우.
– 를 사용하는 이유와 효과를 혼동할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
1. 토큰은 시퀀스의 시작을 나타낸다. (X)
2. 는 시퀀스의 끝을 나타내며, 모델이 종료를 인식하게 한다. (O)

================================

1.

ㅇ 정의:
끝을 나타내는 특수 토큰으로, 시퀀스 데이터의 종료를 명시적으로 표시.

ㅇ 특징:
– 모델이 시퀀스의 끝을 학습하도록 돕는 역할.
– 예측 종료 시점을 명확히 하여 불필요한 계산을 줄임.

ㅇ 적합한 경우:
– 기계 번역에서 번역 문장의 끝을 나타낼 때.
– 텍스트 생성 모델에서 문장의 마무리를 명확히 해야 할 때.

ㅇ 시험 함정:
– 와 토큰의 역할을 혼동.
– 를 사용하지 않고도 시퀀스를 처리할 수 있다고 잘못 가정.

ㅇ 시험 대비 “패턴 보기” 예시:
1. 는 시퀀스의 길이를 고정하는 역할을 한다. (X)
2. 는 시퀀스 종료를 명확히 하여 모델의 효율성을 높인다. (O)

ㅁ 추가 학습 내용

토큰과 토큰의 차이점 및 활용 사례를 학습하기 위해 다음과 같이 정리합니다:

1. 토큰:
– 의미: End of Sequence의 약자로, 시퀀스의 끝을 나타내는 토큰입니다.
– 역할: 모델이 입력 또는 출력 시퀀스의 종료 지점을 인식할 수 있도록 합니다.
– 활용 사례: 자연어 처리(NLP)에서 문장 생성 작업(예: 기계 번역, 텍스트 생성) 시 사용됩니다. 예를 들어, 모델이 문장을 생성하다가 토큰을 만나면 더 이상 단어를 생성하지 않고 종료합니다.
– 모델 학습에 미치는 영향: 토큰은 모델이 시퀀스의 끝을 명확히 이해하도록 도와주며, 잘못된 길이의 출력이나 불필요한 반복을 방지합니다.

2. 토큰:
– 의미: Padding의 약자로, 시퀀스의 길이를 맞추기 위해 추가되는 토큰입니다.
– 역할: 입력 데이터의 길이가 일정하지 않을 때, 짧은 시퀀스를 채워 길이를 동일하게 만듭니다.
– 활용 사례: 배치 처리 과정에서 사용됩니다. 예를 들어, 길이가 다른 문장들을 하나의 배치로 묶기 위해 짧은 문장에 토큰을 추가합니다.
– 모델 학습에 미치는 영향: 토큰은 실제 데이터가 아니므로, 모델이 이를 학습하지 않도록 주의해야 합니다. 이를 위해 손실 계산 시 토큰을 무시하거나 마스크(masking) 처리를 합니다.

3. 주요 차이점:
– 토큰은 시퀀스의 끝을 나타내는 의미 있는 토큰이며, 모델이 시퀀스를 종료하도록 돕습니다.
– 토큰은 시퀀스 길이를 맞추기 위한 비의미 토큰으로, 학습 과정에서 제외되어야 합니다.

4. 실제 사례:
– 기계 번역: “I love you”를 “나는 너를 사랑해”로 번역하는 경우, 모델은 “나는 너를 사랑해 “를 출력하며, 이후 단어 생성을 멈춥니다.
– 배치 처리: [“나는”, “나는 너를 사랑해”] 두 문장을 하나의 배치로 만들 때, [“나는 “, “나는 너를 사랑해”]로 패딩 처리합니다.

5. 추가 자료 검토:
– 토큰이 모델 학습에 미치는 영향을 더 깊이 이해하기 위해, 문장 길이와 토큰의 위치가 모델의 출력 품질에 어떤 영향을 주는지에 대한 연구 자료를 검토하는 것이 유익합니다.
– 토큰 사용 시 마스킹 기법과 손실 계산 방식에 대한 구체적 사례를 학습하는 것도 중요합니다.