ㅁ 분산 전략

ㅇ 정의:
여러 참여자가 하나의 모델을 나누어 학습하는 방식으로, 각 참여자는 모델의 일부 계층만 학습하고 나머지는 다른 참여자가 학습하여 전체 모델을 완성하는 분산 학습 기법.

ㅇ 특징:
– 데이터는 로컬에 두고 중간 계층의 출력(activation)만 공유.
– 모델 구조가 물리적으로 분리되어 있어 데이터 프라이버시 강화.
– 통신량은 중간 출력과 역전파 그라디언트만 전송.
– 병렬 처리보다는 순차적 처리 특성이 강해 지연(latency)이 발생할 수 있음.

ㅇ 적합한 경우:
– 의료, 금융 등 민감 데이터가 있어 원본 데이터 공유가 불가능한 경우.
– 참여자 간 네트워크 대역폭이 제한적이고, 전체 모델을 공유하기 어려운 경우.
– 서로 다른 연산 자원을 가진 환경에서 협력 학습이 필요한 경우.

ㅇ 시험 함정:
– Split Learning은 데이터 자체를 나누는 것이 아니라 모델을 나누어 학습한다는 점을 혼동.
– Federated Learning과 비교 시, 모델 파라미터 전체를 교환하지 않는다는 점을 놓치기 쉬움.
– 병렬 학습 방식과 동일하다고 오인할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Split Learning은 모델을 층 단위로 나누어 학습하며, 원본 데이터는 공유하지 않는다.”
X: “Split Learning은 데이터셋을 여러 조각으로 나누어 병렬 학습하는 방식이다.”

ㅁ 추가 학습 내용

Split Learning과 Federated Learning의 차이점 정리

Federated Learning은 각 클라이언트가 전체 모델을 로컬에서 학습한 뒤, 학습된 파라미터를 서버로 전달하여 평균화하는 방식이다. 데이터는 로컬에 머물고, 모델 파라미터만 공유한다.

Split Learning은 모델을 여러 부분으로 분할하여 각 참여자가 일부 층만 학습하는 방식이다. 한 참여자의 출력(중간 계층 활성값)을 다른 참여자가 받아서 이어서 학습을 진행하므로 순차적 처리가 필요하고, 이로 인해 학습 속도가 느려질 수 있다.

Split Learning에서는 원본 데이터 대신 중간 계층 출력값만 공유하므로 데이터 프라이버시 수준이 높지만, 여전히 이 출력값으로부터 원본 데이터가 재구성될 위험이 있다. 따라서 추가적인 암호화나 노이즈 주입과 같은 보안 기법이 필요할 수 있다.

시험에서는 ‘데이터 분할’과 ‘모델 분할’ 개념을 혼동시키는 문장이 자주 출제되므로 주의해야 한다.