ㅁ 기법 및 라이브러리

ㅇ 정의:
동일한 모델 복사본을 여러 장치(GPU/노드)에 배포하고, 서로 다른 데이터 배치를 병렬로 처리하여 학습 속도를 높이는 분산 학습 방식.

ㅇ 특징:
– 각 장치가 동일한 모델 구조를 유지
– 데이터셋을 배치 단위로 분할하여 각 장치에 전달
– 각 장치에서 계산한 그래디언트를 집계(All-Reduce) 후 평균내어 모델 파라미터를 동기화
– 구현이 상대적으로 간단하고 대부분의 딥러닝 프레임워크에서 지원

ㅇ 적합한 경우:
– 모델 크기는 단일 장치 메모리에 적재 가능하지만 데이터셋이 매우 큰 경우
– 대량의 GPU 리소스를 활용하여 학습 시간을 단축하고자 할 때

ㅇ 시험 함정:
– Data Parallelism은 모델 파라미터를 분할하는 것이 아니라 데이터를 분할하는 방식임
– 모델이 너무 커서 단일 장치에 올릴 수 없는 경우에는 Model Parallelism이 필요함
– 동기식(Synchronous)과 비동기식(Asynchronous) 업데이트 차이 혼동

ㅇ 시험 대비 “패턴 보기” 예시:
O: “동일한 모델을 여러 장치에 복사하여 서로 다른 데이터 배치를 병렬 처리한다.”
X: “모델 파라미터를 여러 장치에 나누어 저장하고 처리한다.”

ㅁ 추가 학습 내용

Data Parallelism의 변형 기법에는 Parameter Server 방식과 All-Reduce 방식이 있다. 최근에는 NCCL을 활용한 GPU 간 고속 통신이 표준으로 자리잡고 있다. Gradient Accumulation을 사용하면 메모리 한계를 극복할 수 있으며, Mixed Precision Training과 결합하면 학습 속도와 메모리 효율을 동시에 높일 수 있다. 동기식 업데이트는 안정적이지만 속도가 느릴 수 있고, 비동기식 업데이트는 빠르지만 수렴 안정성이 떨어질 수 있다는 장단점이 있다.