ㅁ 분산 학습

ㅇ 정의: 여러 대의 컴퓨터나 장치를 활용하여 하나의 AI 모델을 학습시키는 방법론으로, 대규모 데이터와 복잡한 모델을 효율적으로 처리하기 위해 사용됨.

ㅇ 특징:
– 컴퓨팅 자원의 병렬 처리로 학습 속도 향상
– 네트워크 대역폭과 통신 오버헤드가 성능에 큰 영향을 미침
– 데이터 병렬화와 모델 병렬화의 두 가지 주요 접근법 존재

ㅇ 적합한 경우:
– 단일 장치의 메모리나 처리 능력을 초과하는 대규모 모델 학습 시
– 학습 데이터를 병렬로 처리하여 학습 시간을 단축하고자 할 때

ㅇ 시험 함정:
– 분산 학습과 병렬 처리의 차이를 혼동하는 경우
– 네트워크 오버헤드와 병렬화로 인한 성능 저하를 간과하는 경우

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “분산 학습은 대규모 데이터를 처리하기 위해 여러 장치를 활용한다.”
– X: “분산 학습은 항상 성능을 향상시킨다.”

================================

1. Model Parallel

ㅇ 정의: 하나의 모델을 여러 장치에 나누어 병렬로 처리하는 기술로, 주로 모델의 크기가 단일 장치의 메모리를 초과할 때 사용됨.

ㅇ 특징:
– 모델의 각 부분이 서로 다른 장치에서 병렬로 처리됨
– 통신 오버헤드가 발생할 수 있음
– 네트워크 연결 속도가 성능에 중요한 영향을 미침

ㅇ 적합한 경우:
– 초대형 신경망 모델을 학습시킬 때
– GPU 메모리 한계를 극복하고자 할 때

ㅇ 시험 함정:
– 모델 병렬화와 데이터 병렬화를 혼동하는 경우
– 병렬화로 인해 학습 속도가 항상 빨라질 것이라고 가정하는 경우

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Model Parallel은 모델의 각 레이어를 서로 다른 장치에서 처리한다.”
– X: “Model Parallel은 데이터 병렬화의 한 형태이다.”

================================

ㅁ 추가 학습 내용

Model Parallel 관련 최신 기술 트렌드로 ‘Tensor Slicing’과 ‘Pipeline Parallelism’은 대규모 모델 학습에서 매우 중요한 개념입니다.

Tensor Slicing은 모델의 텐서를 여러 조각으로 나누어 병렬로 처리하는 방식입니다. 이 기법은 대규모 모델 학습에서 자주 사용되며, 특히 GPU나 TPU와 같은 병렬 처리 장치의 메모리 한계를 극복하는 데 유용합니다. 텐서를 조각내면 각 조각이 독립적으로 계산될 수 있어 연산 속도가 빨라지고, 메모리 사용량을 효율적으로 분산할 수 있습니다. 이를 통해 학습 가능한 모델의 크기를 확장할 수 있습니다.

Pipeline Parallelism은 모델의 연산을 여러 단계로 나누어 각 단계가 병렬로 실행되도록 하는 기법입니다. 이 방법은 모델을 여러 파이프라인으로 분할하여 각 파이프라인이 독립적으로 작업을 수행하도록 구성합니다. 특히 GPT-3와 같은 초대형 모델에서 효과적으로 활용되며, 연산 효율을 극대화하고 학습 속도를 크게 개선합니다. 이 기법은 데이터 처리 흐름을 최적화하여 자원의 활용도를 높이고, 전체 학습 시간을 줄이는 데 기여합니다.