ㅁ 토큰 관리

ㅇ 정의:
토큰 관리는 자연어 처리 모델에서 입력 데이터를 적절히 분할하고 처리할 수 있도록 제어하는 과정을 의미하며, 모델의 메모리 및 처리 성능 최적화를 목표로 한다.

ㅇ 특징:
– 모델의 컨텍스트 윈도우 크기에 따라 처리 가능한 토큰 수가 제한됨.
– 긴 문장이나 문서를 처리할 때 중요한 역할을 함.
– 토큰의 수가 많아질수록 처리 시간 및 메모리 사용량 증가.

ㅇ 적합한 경우:
– 긴 문서를 분석해야 하는 경우.
– 대화형 AI에서 긴 대화 이력을 유지해야 하는 경우.

ㅇ 시험 함정:
– 토큰 수 제한을 초과할 경우 모델이 데이터를 자르거나 무시할 수 있다는 점을 간과하는 경우.
– 토큰화 방식에 따라 동일한 문장이 다르게 처리될 수 있다는 점을 놓치는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “토큰 관리는 긴 문서를 처리할 때 중요한 역할을 한다.”
– X: “토큰 관리는 항상 모든 데이터를 정확히 처리한다.”

================================

1. Long Sequence Processing

ㅇ 정의:
긴 입력 데이터를 처리하기 위해 모델의 컨텍스트 윈도우를 최적화하거나, 데이터를 분할하여 순차적으로 처리하는 기술.

ㅇ 특징:
– 기존의 컨텍스트 윈도우 크기를 넘어서는 데이터를 처리 가능.
– 입력 데이터를 슬라이딩 윈도우 방식으로 나누거나, 요약 및 압축 기법을 사용.
– 처리 속도와 메모리 사용량의 균형이 중요.

ㅇ 적합한 경우:
– 긴 논문, 책, 또는 대규모 로그 데이터를 분석해야 하는 경우.
– 대화형 AI에서 긴 대화 이력을 유지해야 하는 경우.

ㅇ 시험 함정:
– 긴 데이터를 처리할 수 있다고 해서 항상 모든 정보를 보존하는 것은 아니라는 점.
– 입력 데이터를 나누는 방식에 따라 정보 손실이 발생할 수 있다는 점.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Long Sequence Processing은 긴 문서 처리를 위해 데이터를 나누거나 요약하는 기술을 포함한다.”
– X: “Long Sequence Processing은 모든 긴 데이터를 처리할 수 있다.”

================================

1.1 슬라이딩 윈도우

ㅇ 정의:
긴 입력 데이터를 일정 크기의 윈도우로 나누어 순차적으로 처리하는 방법.

ㅇ 특징:
– 각 윈도우는 일정 크기의 토큰을 포함하며, 윈도우 간 중첩이 있을 수 있음.
– 정보 손실을 최소화하기 위해 윈도우 간 겹침(overlap)을 설정.

ㅇ 적합한 경우:
– 긴 대화 데이터를 처리할 때 중요한 문맥을 유지해야 하는 경우.
– 문서의 특정 섹션 간 연속성이 중요한 경우.

ㅇ 시험 함정:
– 겹침 설정이 부족할 경우 문맥이 단절될 수 있다는 점.
– 겹침이 너무 많으면 처리 시간이 과도하게 증가할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “슬라이딩 윈도우는 문맥 단절을 최소화하기 위해 윈도우 간 중첩을 허용한다.”
– X: “슬라이딩 윈도우는 항상 모든 데이터를 그대로 보존한다.”

================================

1.2 요약 및 압축

ㅇ 정의:
긴 입력 데이터를 처리하기 위해 핵심 정보를 요약하거나 압축하여 모델에 입력하는 방법.

ㅇ 특징:
– 정보 손실을 최소화하면서 데이터 크기를 줄임.
– 자동 요약 알고리즘이나 중요도 기반 필터링 기법을 사용.

ㅇ 적합한 경우:
– 긴 문서에서 핵심 내용을 추출하여 처리해야 하는 경우.
– 모델의 처리 한계를 넘어서는 데이터를 다뤄야 하는 경우.

ㅇ 시험 함정:
– 요약 과정에서 중요한 정보가 누락될 수 있다는 점.
– 요약된 데이터가 원본 데이터를 충분히 대변하지 못할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “요약 및 압축은 긴 데이터를 처리하기 위해 핵심 정보를 추출하는 방법이다.”
– X: “요약 및 압축은 항상 모든 정보를 보존한다.”

================================

ㅁ 추가 학습 내용

1. 토큰 관리에서 사용되는 다양한 토큰화 방식에 대한 구체적인 설명:
– Byte Pair Encoding(BPE): BPE는 자주 등장하는 문자 쌍을 병합하여 점진적으로 더 긴 서브워드를 생성하는 방식이다. 초기에는 개별 문자로 시작하며, 빈도에 따라 결합하여 서브워드 단위로 나눈다. 장점은 희귀 단어를 효과적으로 처리할 수 있고, 단점은 사전 크기가 고정되어 있어 유연성이 부족할 수 있다.
– WordPiece: BPE와 유사하지만, 병합 기준이 빈도가 아닌 확률에 기반한다. 언어 모델의 확률 분포를 고려하여 서브워드를 생성하며, BERT와 같은 모델에서 사용된다. 장점은 모델 성능을 높이는 데 유리하며, 단점은 계산 비용이 다소 증가할 수 있다.
– SentencePiece: BPE와 WordPiece와 달리, 공백을 포함한 모든 텍스트를 하나의 문자열로 취급하여 처리한다. 언어에 독립적이며, 유니코드 기반으로 작동한다. 장점은 언어와 무관하게 적용 가능하며, 단점은 공백 처리로 인해 가독성이 낮아질 수 있다.

2. Long Sequence Processing에서 사용되는 Attention 메커니즘의 확장 기법:
– Sparse Attention: 모든 토큰 간의 상호작용을 계산하지 않고, 중요한 토큰 간의 상호작용만 선택적으로 계산하는 방식이다. 메모리와 계산 비용을 줄일 수 있는 장점이 있지만, 중요한 토큰을 식별하는 과정이 복잡할 수 있다.
– Longformer: 긴 문서 처리에 특화된 모델로, 로컬 윈도우 기반의 제한된 Attention과 전역 Attention을 조합하여 효율성을 높인다. 문서 내 특정 토큰이 중요할 때 이를 전역 Attention으로 처리할 수 있다.
– BigBird: Sparse Attention을 확장하여 랜덤, 슬라이딩 윈도우, 전역 Attention을 결합한 방식이다. 긴 문서와 대규모 데이터셋 처리에 적합하며, 기존 Transformer와의 호환성도 유지된다.

3. 슬라이딩 윈도우와 요약 및 압축 기법의 조합 활용 방안:
– 슬라이딩 윈도우는 긴 텍스트를 일정 길이로 나누어 처리하는 방법이다. 이후 각 윈도우에 요약 기법을 적용하여 핵심 내용을 추출할 수 있다.
– 장점: 긴 문서를 처리할 때 메모리와 계산 비용을 줄일 수 있으며, 각 윈도우 단위로 병렬 처리 가능하다. 단점: 윈도우 간의 문맥 단절이 발생할 수 있으며, 요약 과정에서 중요한 정보가 손실될 위험이 있다.
– 이를 보완하기 위해 윈도우 간의 연결성을 고려한 후처리 단계나, 중첩된 윈도우를 사용하여 문맥 단절 문제를 완화할 수 있다.

4. 긴 문서 처리 시 발생할 수 있는 실제 사례나 문제점과 이를 해결하기 위한 구체적인 접근 방식:
– 문맥 단절: 긴 문서를 나누어 처리할 경우, 윈도우 간의 연결된 문맥이 단절될 수 있다. 이를 해결하기 위해 중첩된 윈도우를 사용하거나, 윈도우 간의 연속성을 유지하는 모델(예: Longformer)을 활용할 수 있다.
– 정보 왜곡: 요약 과정에서 중요한 정보가 왜곡되거나 누락될 수 있다. 이를 방지하려면 추출 요약과 생성 요약 방식을 적절히 조합하거나, 요약 결과를 검토하는 후처리 단계를 추가할 수 있다.
– 계산 비용 증가: 긴 문서를 처리할 때 메모리와 계산 비용이 크게 증가할 수 있다. Sparse Attention이나 효율적인 모델 구조(예: BigBird)를 도입하여 계산 효율성을 높이는 방법이 있다.
– 긴 문서의 구조적 이해 부족: 긴 문서의 계층적 구조를 파악하지 못할 수 있다. 이를 해결하기 위해 계층적 Attention 모델을 사용하거나, 문서의 섹션별로 별도의 처리를 수행하는 방식을 고려할 수 있다.