ㅁ 분산 학습

ㅇ 정의:
분산 학습은 대규모 데이터와 모델을 여러 컴퓨팅 노드에 분산하여 병렬적으로 학습시키는 방법론이다.

ㅇ 특징:
– 컴퓨팅 자원의 효율적 활용으로 학습 시간 단축 가능
– 데이터 병렬성과 모델 병렬성을 통해 대규모 모델 학습 가능
– 네트워크 병목 현상과 동기화 비용이 발생할 수 있음

ㅇ 적합한 경우:
– 대규모 데이터셋과 복잡한 모델을 학습해야 할 때
– 단일 머신으로 학습이 불가능하거나 비효율적인 경우

ㅇ 시험 함정:
– 분산 학습이 항상 성능을 향상시키는 것은 아니다.
– 네트워크 병목 현상과 동기화 문제를 간과할 수 있음

ㅇ 시험 대비 “패턴 보기” 예시:
O: 분산 학습은 대규모 데이터와 모델을 여러 노드에 분산하여 병렬적으로 학습한다.
X: 분산 학습은 단일 머신에서만 실행된다.

================================

1. DeepSpeed

ㅇ 정의:
DeepSpeed는 분산 학습을 위한 PyTorch 기반의 라이브러리로, 대규모 모델 학습을 효율적으로 수행하도록 설계되었다.

ㅇ 특징:
– ZeRO(Zero Redundancy Optimizer)를 활용하여 메모리 효율성을 극대화
– 대규모 모델 학습을 위한 다양한 최적화 기법 제공
– FP16 및 Mixed Precision 학습 지원

ㅇ 적합한 경우:
– 대규모 모델 학습에서 메모리 사용을 최적화해야 할 때
– 학습 속도와 비용 효율성을 동시에 고려해야 할 때

ㅇ 시험 함정:
– DeepSpeed가 모든 분산 학습 환경에서 최적화된 솔루션이라고 오해할 수 있음
– ZeRO가 모든 모델에 동일한 성능 향상을 제공한다고 간주할 수 있음

ㅇ 시험 대비 “패턴 보기” 예시:
O: DeepSpeed는 ZeRO를 활용하여 메모리 효율성을 극대화한다.
X: DeepSpeed는 TensorFlow 기반 라이브러리이다.

================================

ㅁ 추가 학습 내용

DeepSpeed의 주요 기능 중 하나인 ZeRO(Zero Redundancy Optimizer)는 대규모 모델 학습 시 메모리 사용을 최적화하는 데 초점을 맞춘 기술입니다. ZeRO는 모델 병렬성을 활용하여 GPU 메모리 부담을 분산시키는 방식으로 작동하며, 이를 위해 다음과 같은 세 가지 단계로 나뉩니다:

1. **ZeRO-1 (Optimizer State Partitioning)**: 학습 중 발생하는 옵티마이저 상태(예: 모멘텀, 학습률 등)를 GPU 간에 분산 저장하여 메모리 사용량을 줄입니다.
2. **ZeRO-2 (Gradient Partitioning)**: 모델의 그래디언트를 분할하여 각 GPU가 필요한 부분만 저장하도록 하여 메모리 효율성을 더욱 향상시킵니다.
3. **ZeRO-3 (Parameter Partitioning)**: 모델의 파라미터 자체를 GPU 간에 분산 저장하여 메모리 사용량을 최소화합니다. 이를 통해 초대형 모델 학습이 가능해집니다.

이와 함께 ZeRO는 메모리 최적화를 위해 체크포인트 재활용과 같은 기법을 사용하며, 필요 시 계산을 반복하여 메모리 사용을 줄이는 방식도 채택합니다.

DeepSpeed는 다양한 분산 학습 전략을 지원합니다. 예를 들어, 데이터 병렬성(Data Parallelism), 모델 병렬성(Model Parallelism), 파이프라인 병렬성(Pipeline Parallelism) 등을 조합하여 최적의 학습 환경을 제공합니다. 특히, 파이프라인 병렬성은 모델의 여러 단계를 서로 다른 GPU에서 병렬적으로 처리하여 학습 속도를 높이는 데 유용합니다.

Mixed Precision 학습은 모델 학습에서 32비트 대신 16비트 부동소수점을 사용하여 계산 속도를 높이고 메모리 사용량을 줄이는 기법입니다. 장점으로는 학습 속도 향상과 메모리 절약이 있으며, 단점으로는 일부 계산에서 정확도가 떨어질 수 있다는 점이 있습니다. DeepSpeed는 Mixed Precision 학습을 안정적으로 지원하여 이러한 단점을 최소화합니다.

DeepSpeed와 다른 분산 학습 라이브러리 간의 차이점은 다음과 같습니다:
1. **Horovod**: TensorFlow 및 PyTorch와 통합되어 데이터 병렬성 중심으로 설계되었습니다. Horovod는 학습 속도를 높이기 위해 효율적인 AllReduce 알고리즘을 사용하며, 설정이 비교적 간단합니다. 하지만 모델 병렬성이나 파이프라인 병렬성에 대한 지원은 DeepSpeed만큼 강력하지 않습니다.
2. **PyTorch Distributed**: PyTorch의 기본 분산 학습 라이브러리로, 데이터 병렬성 및 모델 병렬성을 지원합니다. 사용자는 병렬 학습 전략을 직접 설정해야 하므로 유연성이 높은 반면, 설정이 복잡할 수 있습니다. DeepSpeed는 이러한 기능을 자동화하고, 메모리 최적화와 같은 추가 기능을 제공합니다.

DeepSpeed는 특히 초대형 모델 학습에 유리하며, 메모리 최적화와 다양한 병렬 학습 전략을 통합적으로 지원한다는 점에서 다른 라이브러리와 차별화됩니다. Horovod와 PyTorch Distributed는 특정 상황에서 효율적일 수 있지만, DeepSpeed는 초대형 모델과 혼합 정밀도 학습을 포함한 최신 요구 사항에 더 적합한 선택지입니다.