ㅁ 도구및 프레임워크

ㅇ 정의:

ㅇ 특징:

ㅇ 적합한 경우:

ㅇ 시험 함정:

ㅇ 시험 대비 “패턴 보기” 예시:

================================

1. FairScale

ㅇ 정의:
FairScale은 PyTorch 기반의 분산 학습 및 메모리 최적화 도구로, 대규모 모델 학습을 지원하기 위해 설계된 라이브러리입니다.

ㅇ 특징:
– 모델 병렬화, 데이터 병렬화, 파이프라인 병렬화를 지원합니다.
– 메모리 사용 최적화를 통해 대규모 모델 학습 시 GPU 자원의 효율성을 극대화합니다.
– PyTorch와의 호환성이 뛰어나 기존 워크플로우에 쉽게 통합 가능합니다.

ㅇ 적합한 경우:
– 대규모 딥러닝 모델을 학습해야 하며, GPU 메모리 사용을 최적화하고자 할 때.
– 분산 학습 환경에서 모델 성능을 극대화하려는 경우.

ㅇ 시험 함정:
– FairScale의 병렬화 기법 중 하나인 파이프라인 병렬화와 데이터 병렬화를 혼동하여 출제될 수 있습니다.
– PyTorch와의 호환성을 과대평가하여, 모든 PyTorch 기능이 자동으로 지원된다고 착각할 수 있습니다.

ㅇ 시험 대비 “패턴 보기” 예시:
O: FairScale은 PyTorch 기반의 대규모 모델 학습을 위한 도구이다.
X: FairScale은 TensorFlow 기반의 메모리 최적화 도구이다.
O: FairScale은 모델 병렬화를 지원한다.
X: FairScale은 GPU 메모리 사용을 증가시키는 도구이다.

ㅁ 추가 학습 내용

Sharded Data Parallel(SDP)는 FairScale의 주요 기능 중 하나로, 대규모 모델 학습에서 GPU 메모리 사용량을 줄이는 데 중요한 역할을 합니다. 이 기법은 모델 파라미터를 샤딩(sharding)하여 여러 GPU에 분산 처리함으로써 메모리 효율성을 극대화합니다. 각 GPU는 전체 모델의 일부만 저장하고 계산하므로, 메모리 사용량이 줄어들어 더 큰 모델을 학습할 수 있습니다. 또한, 샤딩된 파라미터는 필요할 때만 통신을 통해 동기화되므로 통신 비용도 최적화됩니다.

FairScale의 파이프라인 병렬화와 기존 데이터 병렬화의 차이점도 이해해야 합니다. 데이터 병렬화는 동일한 모델 복사본을 여러 GPU에 배치하고, 각 GPU가 서로 다른 데이터 배치를 독립적으로 처리하는 방식입니다. 반면, 파이프라인 병렬화는 모델을 여러 단계로 나누고, 각 단계를 다른 GPU에서 처리하여 모델 자체를 분산시킵니다. 데이터 병렬화는 주로 데이터 크기가 클 때 유용한 반면, 파이프라인 병렬화는 모델 크기가 클 때 적합합니다. 이 두 방식을 혼합하여 사용하는 것도 가능하며, 이를 통해 대규모 모델 학습에서 성능과 효율성을 동시에 극대화할 수 있습니다.