ㅁ 분산 학습

ㅇ 정의:
여러 대의 컴퓨팅 노드(GPU/CPU)에서 학습 데이터를 나누어 병렬로 학습시키는 방식으로, 모델 학습 속도를 높이고 대규모 데이터 처리를 가능하게 함.

ㅇ 특징:
– 데이터 병렬(Data Parallel) 또는 모델 병렬(Model Parallel) 방식 적용 가능
– 통신 오버헤드와 동기화 지연이 성능에 영향을 미침
– 네트워크 대역폭, 노드 간 지연(latency)에 민감

ㅇ 적합한 경우:
– 단일 GPU로는 메모리 부족으로 학습 불가능한 대규모 모델
– 학습 시간이 길어 병렬화로 단축이 필요한 경우

ㅇ 시험 함정:
– 분산 학습이 항상 속도 향상을 보장하는 것은 아님 (통신 병목 가능)
– 데이터 병렬과 모델 병렬을 혼동

ㅇ 시험 대비 “패턴 보기” 예시:
O: “분산 학습은 여러 노드에서 병렬로 학습을 수행하여 처리 속도를 향상시킨다.”
X: “분산 학습은 항상 단일 노드보다 빠르다.”

================================

1. Horovod

ㅇ 정의:
Uber에서 개발한 오픈소스 분산 딥러닝 프레임워크로, TensorFlow, PyTorch, MXNet 등 다양한 프레임워크에서 데이터 병렬 학습을 쉽게 구현하도록 지원함.

ㅇ 특징:
– Ring-AllReduce 알고리즘을 사용하여 GPU 간 통신 효율 극대화
– 기존 학습 코드에 최소한의 수정으로 분산 학습 적용 가능
– MPI, NCCL 등 다양한 통신 백엔드 지원

ㅇ 적합한 경우:
– 다수의 GPU/노드 환경에서 대규모 데이터셋 학습
– 프레임워크 간 유연한 분산 환경 구축 필요 시

ㅇ 시험 함정:
– Horovod는 모델 병렬 학습을 기본 지원하지 않음 (주로 데이터 병렬)
– Ring-AllReduce가 항상 최적은 아님 (네트워크 토폴로지에 따라 다름)

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Horovod는 Ring-AllReduce를 사용하여 분산 학습 시 통신 효율을 높인다.”
X: “Horovod는 기본적으로 모델 병렬 학습을 수행한다.”

ㅁ 추가 학습 내용

Horovod 성능 최적화를 위해서는 네트워크 토폴로지와 GPU 간 연결 구조를 이해하는 것이 중요하다. Ring-AllReduce 방식은 모든 노드를 링 형태로 연결하여 통신하므로 네트워크 병목이 발생하면 성능 저하가 크다. 시험에서는 Horovod와 Parameter Server 방식의 차이를 묻는 문제가 자주 출제되는데, Horovod는 중앙 서버 없이 모든 노드가 동등하게 통신하는 구조라는 점을 기억해야 한다. Horovod는 데이터 병렬 방식을 기본으로 하며, Gradient Compression, Mixed Precision Training 등을 함께 사용하면 성능을 향상시킬 수 있다.