ㅁ 시퀀스 처리

ㅇ 정의: 시퀀스 처리란 데이터를 순차적으로 처리하는 기술로, 자연어 처리와 같은 분야에서 사용됩니다. 모델이 문맥을 이해하거나 특정 패턴을 학습하도록 돕습니다.

ㅇ 특징: 시퀀스 데이터는 길이가 가변적이고, 순서가 중요합니다. 이를 처리하기 위해 패딩과 특수 토큰을 활용합니다.

ㅇ 적합한 경우: 자연어 처리, 음성 인식, 시계열 데이터 분석 등 순차적 정보가 중요한 경우에 적합합니다.

ㅇ 시험 함정: 시퀀스 길이가 다른 데이터를 처리할 때 패딩과 마스킹의 차이를 혼동하거나, 특수 토큰의 역할을 잘못 이해하는 경우가 있습니다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 시퀀스 처리에서 패딩은 모델 입력의 길이를 맞추기 위해 사용된다.
– X: 시퀀스 처리에서 패딩은 데이터를 분류하는 데 사용된다.

================================

1.

ㅇ 정의: 는 모델이 처리할 수 없는 단어 또는 토큰을 대체하기 위한 특수 토큰입니다.

ㅇ 특징: 사전에 없는 단어를 처리할 수 있도록 설계되었으며, 모델의 일반화 능력을 높이는 데 도움을 줍니다.

ㅇ 적합한 경우: 사전 크기가 제한적이거나 새로운 단어가 자주 등장하는 데이터셋을 처리할 때 적합합니다.

ㅇ 시험 함정: 토큰이 모든 미등록 단어를 동일하게 처리하기 때문에 문맥을 잃을 수 있다는 점을 간과할 수 있습니다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 는 사전에 없는 단어를 대체하기 위해 사용된다.
– X: 는 모델의 출력 결과를 해석하는 데 사용된다.

ㅁ 추가 학습 내용

1. 토큰의 사용이 모델 성능에 미치는 영향을 이해하기:
– 토큰은 모델이 학습 데이터에 없는 단어(OOV 단어)를 처리하기 위해 사용됩니다.
– 그러나 토큰이 지나치게 많이 사용되면 모델이 세부적인 정보를 잃고, 데이터의 맥락을 제대로 이해하지 못할 가능성이 있습니다.
– 결과적으로, 모델의 일반화 능력이 저하되고, 새로운 데이터에 대한 예측 정확도가 떨어질 수 있습니다.

2. 토큰 사용의 대안으로 동적 임베딩 방법 고려:
– OOV 단어를 처리하기 위해 동적 임베딩 방법을 사용하는 것이 대안이 될 수 있습니다.
– 동적 임베딩 방법은 새로운 단어를 기존의 단어 임베딩 공간에 매핑하여 처리하는 방식입니다.
– 예를 들어, 서브워드(subword) 분할, 문자 기반 임베딩, 혹은 컨텍스트 기반 임베딩(BERT, GPT 등)을 이용하면 OOV 문제를 효과적으로 줄일 수 있습니다.
– 이를 통해 모델이 OOV 단어를 더 잘 이해하고, 성능 저하를 방지할 수 있습니다.