기법 및 라이브러리: ZeRO
ㅁ 기법 및 라이브러리
ㅇ 정의:
분산 학습에서 메모리 사용을 최적화하기 위한 기술로, 모델 상태를 여러 GPU에 분산하여 저장하고 계산하는 방식.
ㅇ 특징:
– 메모리 효율성을 극대화하여 대규모 모델 학습 가능.
– 데이터 병렬성, 모델 병렬성, 파이프라인 병렬성을 지원.
– DeepSpeed 라이브러리에서 주로 사용.
ㅇ 적합한 경우:
– 대규모 딥러닝 모델을 학습할 때 GPU 메모리가 부족한 경우.
– GPU 간의 통신 비용을 줄이고 성능을 극대화하려는 경우.
ㅇ 시험 함정:
– ZeRO 기술이 단순히 메모리 분산만을 의미한다고 오해할 수 있음.
– 데이터 병렬성과 혼동하여 ZeRO의 특징을 잘못 이해할 가능성.
ㅇ 시험 대비 “패턴 보기” 예시:
1. ZeRO는 GPU 메모리 효율성을 극대화하는 기술이다. (O)
2. ZeRO는 모델 병렬성과 데이터 병렬성을 동시에 지원하지 않는다. (X)
3. ZeRO는 대규모 모델 학습 시 GPU 메모리 부족 문제를 해결한다. (O)
================================
1. ZeRO
ㅇ 정의:
분산 학습에서 메모리 사용을 최적화하기 위한 기술로, 모델 상태를 여러 GPU에 분산하여 저장하고 계산하는 방식.
ㅇ 특징:
– 메모리 효율성을 극대화하여 대규모 모델 학습 가능.
– 데이터 병렬성, 모델 병렬성, 파이프라인 병렬성을 지원.
– DeepSpeed 라이브러리에서 주로 사용.
ㅇ 적합한 경우:
– 대규모 딥러닝 모델을 학습할 때 GPU 메모리가 부족한 경우.
– GPU 간의 통신 비용을 줄이고 성능을 극대화하려는 경우.
ㅇ 시험 함정:
– ZeRO 기술이 단순히 메모리 분산만을 의미한다고 오해할 수 있음.
– 데이터 병렬성과 혼동하여 ZeRO의 특징을 잘못 이해할 가능성.
ㅇ 시험 대비 “패턴 보기” 예시:
1. ZeRO는 GPU 메모리 효율성을 극대화하는 기술이다. (O)
2. ZeRO는 모델 병렬성과 데이터 병렬성을 동시에 지원하지 않는다. (X)
3. ZeRO는 대규모 모델 학습 시 GPU 메모리 부족 문제를 해결한다. (O)
================================
1.1 DeepSpeed
ㅇ 정의:
Microsoft에서 개발한 딥러닝 모델 학습 최적화 라이브러리로, ZeRO를 포함한 다양한 분산 학습 기술을 제공.
ㅇ 특징:
– ZeRO 기술을 통해 메모리 효율성을 극대화.
– 자동 혼합 정밀도(Amp) 지원으로 계산 성능 최적화.
– 대규모 모델 학습을 위한 사용자 친화적 API 제공.
ㅇ 적합한 경우:
– 대규모 모델 학습을 간소화하고 성능을 최적화하려는 경우.
– 다양한 분산 학습 기법을 실험하고자 할 때.
ㅇ 시험 함정:
– DeepSpeed를 단순히 ZeRO만 사용하는 라이브러리로 오해할 수 있음.
– 자동 혼합 정밀도와 ZeRO의 기능을 혼동할 가능성.
ㅇ 시험 대비 “패턴 보기” 예시:
1. DeepSpeed는 ZeRO 기술을 포함한 분산 학습 라이브러리다. (O)
2. DeepSpeed는 대규모 모델 학습을 지원하지 않는다. (X)
3. DeepSpeed는 자동 혼합 정밀도를 제공한다. (O)
ㅁ 추가 학습 내용
ZeRO의 각 단계에 대한 구체적인 설명은 다음과 같습니다:
1. ZeRO-1: 이 단계는 옵티마이저 상태를 분산 저장하는 방식으로 작동합니다. 옵티마이저 상태는 모델 훈련 중에 필요한 매개변수, 그래디언트, 모멘텀 등과 같은 데이터를 포함합니다. ZeRO-1은 이를 여러 장치에 분산 저장하여 메모리 사용량을 줄이고, 대규모 모델 훈련이 가능하도록 합니다.
2. ZeRO-2: ZeRO-2는 ZeRO-1의 기능에 더해 활성화 체크포인트를 활용합니다. 활성화 체크포인트는 훈련 중 특정 시점의 활성화 데이터를 저장하고 필요할 때 다시 계산하는 방식으로 메모리 사용을 최적화합니다. 이를 통해 더 큰 모델을 훈련할 수 있으며, 메모리 효율성을 더욱 향상시킵니다.
3. ZeRO-3: ZeRO-3는 전체 모델 상태를 분산하는 방식을 채택합니다. 여기에는 옵티마이저 상태뿐만 아니라 모델의 파라미터와 활성화 데이터 모두가 포함됩니다. 이 단계는 메모리 사용량을 최소화하여 초대규모 모델 훈련이 가능하도록 설계되었습니다. ZeRO-3는 분산 저장을 극대화함으로써 단일 장치의 메모리 한계를 극복합니다.
추가적으로, ZeRO와 관련된 성능 비교 실험 결과나 실제 사례를 학습에 포함하면 이해도를 높이는 데 도움이 됩니다. 예를 들어, ZeRO를 사용하지 않은 경우와 ZeRO-1, ZeRO-2, ZeRO-3를 각각 사용한 경우의 모델 학습 속도, 메모리 사용량, 처리 가능한 모델 크기 등의 데이터를 비교하면 ZeRO의 효과를 명확히 알 수 있습니다. 또한, ZeRO가 실제 대규모 모델(예: GPT-3, Megatron-LM) 훈련에 어떻게 적용되었는지에 대한 사례를 통해 실질적인 응용 방식을 이해할 수 있을 것입니다.