ㅁ 기법 및 라이브러리

ㅇ 정의:
– 대규모 신경망 모델의 학습에서 모델의 파라미터(가중치, 편향 등)를 여러 장치(GPU/TPU)로 분산하여 학습을 수행하는 방법.

ㅇ 특징:
– 모델의 구조에 따라 분산 전략을 설계해야 하므로 구현이 복잡할 수 있음.
– 데이터가 아닌 모델 자체를 분할하기 때문에 데이터 병렬화와는 다른 접근 방식.
– GPU 메모리 사용량을 줄이고, 대규모 모델 학습을 가능하게 함.
– 통신 오버헤드가 발생할 수 있으며, 이를 줄이기 위한 최적화가 중요함.

ㅇ 적합한 경우:
– 단일 GPU의 메모리에 모델을 모두 로드할 수 없는 경우.
– 대규모 모델(예: GPT-3, BERT 등)을 학습하거나 추론할 때.

ㅇ 시험 함정:
– 데이터 병렬화와 혼동하여 답을 작성하는 경우.
– 모델의 분할 기준(레이어 단위, 파라미터 단위 등)을 제대로 이해하지 못하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 모델 병렬화는 모델의 파라미터를 여러 장치로 나누어 학습한다.
– X: 모델 병렬화는 데이터를 여러 장치로 나누어 병렬로 처리한다.

ㅁ 추가 학습 내용

1. Model Parallelism과 Data Parallelism의 차이점
– 데이터 병렬화(Data Parallelism): 동일한 모델을 여러 복사본으로 나누어 서로 다른 데이터 샘플에 대해 동시에 학습을 진행하는 방식. 각 복사본은 독립적으로 데이터를 처리하고, 결과는 병합되어 모델 업데이트에 사용됨. 주로 데이터가 매우 크거나 모델이 상대적으로 작을 때 활용됨.
– 모델 병렬화(Model Parallelism): 모델을 여러 부분으로 나누어 서로 다른 하드웨어 장치에서 병렬로 실행하는 방식. 주로 모델 자체가 매우 커서 단일 하드웨어 장치에 적재할 수 없을 때 사용됨. 예를 들어, 한 레이어는 GPU1에서, 다음 레이어는 GPU2에서 실행됨.

2. 모델 병렬화에서 발생하는 통신 오버헤드와 이를 줄이기 위한 기술
– 통신 오버헤드: 모델 병렬화에서는 각 장치 간에 데이터를 주고받아야 하므로 통신 비용이 발생함. 특히, 장치 간 데이터 전송 속도가 느리면 학습 속도가 크게 저하될 수 있음.
– 이를 줄이기 위한 기술:
– 파이프라인 병렬화(Pipeline Parallelism): 모델의 연속적인 레이어를 여러 장치에 분산하고, 데이터 흐름을 파이프라인처럼 구성하여 병렬로 실행. 이를 통해 통신을 최소화하고 처리 속도를 높임.
– 비동기 통신(Asynchronous Communication): 동기식 통신 대신 비동기 방식을 사용하여 각 장치가 독립적으로 작업을 수행하도록 함. 이를 통해 통신 지연을 줄이고 장치 활용도를 높임.
– 통신 합성(Communication Optimization): 통신 빈도를 줄이거나 데이터 전송 크기를 최소화하는 방식으로 오버헤드를 줄임. 예를 들어, 그래디언트 축소(reduction) 작업을 효율적으로 수행함.

3. 모델 병렬화 구현 시 사용하는 주요 라이브러리와 사용 방법
– PyTorch의 torch.distributed: PyTorch에서 분산 학습을 지원하는 라이브러리로, 모델 병렬화와 데이터 병렬화를 모두 구현할 수 있음.
– torch.nn.parallel.DistributedDataParallel: 데이터 병렬화를 구현하기 위한 클래스.
– torch.distributed.rpc: 모델 병렬화를 구현하기 위한 원격 프로시저 호출 기능 제공.
– torch.distributed.init_process_group: 분산 학습을 초기화하는 함수.
– TensorFlow의 tf.distribute.Strategy: TensorFlow에서 분산 학습을 지원하는 API로, 모델 병렬화와 데이터 병렬화를 쉽게 구현할 수 있음.
– tf.distribute.MirroredStrategy: 데이터 병렬화를 구현하기 위한 전략.
– tf.distribute.TPUStrategy: TPU를 활용한 분산 학습을 위한 전략.
– tf.distribute.experimental.ParameterServerStrategy: 매개변수 서버를 사용한 모델 병렬화 및 데이터 병렬화 지원.
– 사용 방법: 각 라이브러리는 학습 데이터와 모델을 적절히 분할하고, 분산 학습을 위한 초기화 및 동기화를 설정한 뒤 학습 루프를 실행하는 방식으로 사용됨.

이 내용을 기반으로 Model Parallelism과 Data Parallelism의 개념, 차이점, 구현 방법, 그리고 관련 라이브러리 사용법을 체계적으로 학습하면 효과적일 것입니다.