ㅁ 토큰 관리

ㅇ 정의:
모델이 한 번에 처리할 수 있는 입력 길이를 초과하는 긴 문서나 대화를 효율적으로 처리하기 위해 토큰을 분할·요약·압축하는 기법.

ㅇ 특징:
– 컨텍스트 윈도우 한계를 극복하기 위해 입력을 여러 청크(chunk)로 나누거나, 중요 정보를 추출하여 유지.
– 메모리 사용량과 처리 속도에 직접적인 영향을 미침.
– 긴 시퀀스에서도 의미 연결성을 유지하는 것이 핵심.

ㅇ 적합한 경우:
– 법률 문서, 연구 논문, 장기 대화 기록 등 매우 긴 텍스트를 처리할 때.
– 모델의 컨텍스트 윈도우 크기가 제한적인 경우.

ㅇ 시험 함정:
– 토큰 수와 글자 수를 혼동하는 문제.
– 긴 문서를 단순히 자르는 것이 Long Sequence Processing의 전부라고 오해.
– 모든 모델이 동일한 최대 토큰 수를 지원한다고 생각하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “긴 문서를 여러 청크로 나누어 순차적으로 처리하는 것은 Long Sequence Processing의 한 방법이다.”
X: “Long Sequence Processing은 모델의 파라미터 수를 줄이는 기법이다.”

================================

1. Long Sequence Processing

ㅇ 정의:
모델이 처리 가능한 최대 토큰 수를 넘어서는 입력을 효율적으로 다루기 위한 일련의 전략과 기법.

ㅇ 특징:
– 슬라이딩 윈도우, 계층적 요약, 메모리 기반 접근 등 다양한 구현 방식 존재.
– 입력 손실 최소화와 문맥 유지가 주요 목표.
– 처리 과정에서 중복 정보 제거 및 중요도 기반 필터링 가능.

ㅇ 적합한 경우:
– 모델이 4K~8K 토큰 제한이 있지만, 20K 이상의 텍스트를 처리해야 하는 경우.
– 회의록, 로그 데이터 분석 등 시간 순서와 문맥이 중요한 데이터.

ㅇ 시험 함정:
– Long Sequence Processing = 단순 요약이라고 착각.
– 모든 경우에 성능이 향상된다고 단정.
– 토큰 절감이 항상 정보 손실을 의미한다고 오해.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “슬라이딩 윈도우 기법은 Long Sequence Processing의 대표적인 구현 방식이다.”
X: “Long Sequence Processing은 입력 데이터를 무조건 압축하여 처리하는 방식이다.”

ㅁ 추가 학습 내용

Long Sequence Processing에서는 단순히 입력을 분할하는 방법 외에도 중요도 기반 재배열, 키워드 인덱싱, 벡터 데이터베이스를 통한 검색 증강(RAG) 기법이 함께 사용되는 경우가 많다. Transformer 구조에서는 RoPE(Rotary Position Embedding) 확장, ALiBi(Attention with Linear Biases)와 같이 포지션 인코딩을 확장하는 기술이 긴 시퀀스 처리 성능에 직접적인 영향을 준다. 시험에서는 모델 파라미터 증가와 컨텍스트 윈도우 확장은 별개의 개념이라는 점, 그리고 메모리 효율성과 정보 손실 최소화의 균형이 중요하다는 점이 자주 출제된다.