ㅁ 사전학습/언어모델 기법/토큰/Task

1. Document Rotation

ㅇ 정의:
문서 단위의 입력 데이터를 일정 규칙에 따라 순서를 회전시키거나 시작 위치를 변경하여 모델이 문맥 전반을 학습하도록 돕는 데이터 증강 기법.

ㅇ 특징:
– 동일한 문서를 다양한 시작점에서 학습시켜 문서 내 전후 관계에 대한 일반화 능력 향상
– 문서 길이가 길어질수록 효과가 큼
– Transformer 기반 언어모델의 positional encoding 한계를 완화

ㅇ 적합한 경우:
– 긴 문서, 보고서, 논문 등의 전범위 이해가 필요한 사전학습 단계
– 문서의 특정 위치에만 집중하는 편향을 줄이고자 할 때

ㅇ 시험 함정:
– 문장 순서를 무작위로 섞는 것과 혼동할 수 있음 (Rotation은 순서를 유지하며 시작점만 변경)
– 토큰 단위 rotation과 문서 단위 rotation을 구분해야 함

ㅇ 시험 대비 “패턴 보기” 예시:
O: Document Rotation은 문서의 시작점을 변경하여 데이터 다양성을 확보하는 방법이다.
X: Document Rotation은 문서 내 문장 순서를 무작위로 섞어 의미 구조를 변경하는 기법이다.

ㅁ 추가 학습 내용

Document Rotation은 긴 문서 학습 시 특히 GPT류와 같은 autoregressive 모델에서 효과적인 기법이다. 이 방법은 학습 데이터의 커버리지를 높이고 positional bias를 줄이는 데 활용된다. 또한 sliding window 방식과 자주 비교되므로 두 기법의 차이점을 명확히 이해해야 한다. 시험에서는 Rotation, Shuffling, Permutation Language Modeling의 개념과 차이를 구분하는 문제가 출제될 가능성이 높다.