ㅁ 패딩 및 배치 처리

ㅇ 정의:
서로 길이가 다른 시퀀스 데이터를 길이에 따라 그룹화하여 동일한 길이의 배치로 처리하는 기법.

ㅇ 특징:
– 동일하거나 유사한 길이의 데이터끼리 묶어 패딩 양을 최소화.
– 메모리 사용 효율과 학습 속도 향상.
– RNN, Transformer 등 시퀀스 모델에서 자주 사용.

ㅇ 적합한 경우:
– 문장 길이가 다양하고, 패딩으로 인한 연산 낭비가 큰 경우.
– 대규모 데이터셋에서 처리 효율이 중요한 경우.

ㅇ 시험 함정:
– Bucketing은 데이터 전처리 단계에서 수행되며, 모델 구조 변경과는 무관함.
– 길이가 다른 시퀀스를 무조건 잘라내는 것이 아님.
– 배치 내 시퀀스 길이가 같더라도 전체 데이터셋에서 길이가 다른 경우가 존재할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Bucketing은 시퀀스 길이에 따라 데이터를 그룹화하여 패딩을 최소화한다.”
X: “Bucketing은 모든 시퀀스를 동일 길이로 잘라내는 기법이다.”

ㅁ 추가 학습 내용

Bucketing은 길이가 비슷한 시퀀스들을 같은 그룹(버킷)으로 묶어 배치로 구성하는 방식이다. 이렇게 하면 패딩 토큰의 낭비를 줄이고, GPU 연산 효율을 높일 수 있다. Dynamic Padding은 각 배치 내에서 가장 긴 시퀀스 길이에 맞춰 패딩을 적용하는 방식으로, Bucketing과 함께 사용하면 효율이 극대화된다.

Packed Sequence 처리는 PyTorch 등에서 제공하는 기능으로, 예를 들어 pack_padded_sequence를 사용하면 패딩 토큰을 무시하고 실제 시퀀스 길이에 맞춰 RNN에 데이터를 전달할 수 있다. 이를 통해 불필요한 연산을 줄이고 메모리 사용량을 절감한다.

Bucketing과 Dynamic Batching은 혼동하기 쉽다. Dynamic Batching은 학습 중에 실시간으로 비슷한 길이의 샘플을 모아 배치를 구성하는 방식이며, Bucketing은 사전에 데이터셋을 길이별로 나누어 배치를 구성하는 방식이다. Bucketing이 반드시 정렬된 데이터셋을 요구하는 것은 아니며, 버킷 내부에서 무작위로 샘플링하여 순서를 섞을 수 있다.

GPU 연산 효율 측면에서 길이별 배치를 구성하면 패딩 연산이 줄어 속도가 빨라지지만, 데이터 순서가 섞이면서 학습 안정성에 영향을 줄 수 있다. 예를 들어, 시퀀스 길이 순으로만 데이터를 배치하면 데이터 분포가 일정 구간에 치우쳐 모델이 편향될 가능성이 있다.

TensorFlow에서는 tf.data API의 bucket_by_sequence_length 함수를, PyTorch에서는 torchtext나 커스텀 DataLoader에서 길이 기반 샘플러를 사용해 Bucketing을 구현할 수 있다. 실제 Sequence-to-Sequence 모델 학습에서 Bucketing을 적용하면, 예를 들어 평균 시퀀스 길이가 다양한 데이터셋에서 학습 속도가 20~30% 향상되는 사례가 보고된다.