ㅁ 분산 전략

ㅇ 정의:
여러 개별 디바이스나 서버에서 로컬 데이터를 외부로 전송하지 않고, 각자 모델을 학습한 뒤 모델 파라미터나 업데이트만 중앙 서버로 전송하여 통합하는 학습 방식.

ㅇ 특징:
– 데이터 프라이버시 보호에 유리.
– 네트워크 대역폭 절감.
– 각 참여 노드의 데이터 분포가 상이할 수 있어 비독립 동일분포(Non-IID) 문제 발생.
– 중앙 서버에서 모델 업데이트를 집계(Aggregation)하는 과정 필요.

ㅇ 적합한 경우:
– 개인정보가 포함된 의료, 금융 데이터 학습.
– 데이터가 여러 지리적 위치에 분산되어 있는 경우.
– 네트워크 대역폭이 제한된 환경.

ㅇ 시험 함정:
– Federated Learning은 데이터 자체를 중앙 서버로 전송하지 않는다는 점을 혼동하기 쉬움.
– 분산 학습과 혼동: 분산 학습은 원본 데이터를 나누어 여러 노드에서 병렬 학습 후 결과를 합침.
– Non-IID 환경에서 성능 저하 가능성을 간과.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “개별 장치의 데이터는 로컬에 남기고 모델 업데이트만 공유한다.”
X: “모든 로컬 데이터를 중앙 서버로 전송하여 학습한다.”

ㅁ 추가 학습 내용

추가 학습 정리

1. Federated Learning의 대표 알고리즘
– FedAvg(Federated Averaging): 각 클라이언트가 로컬 데이터로 모델을 학습한 후, 학습된 파라미터를 중앙 서버로 전송하여 평균을 내고 중앙 모델을 업데이트하는 방식.

2. 보안 강화 기법
– Differential Privacy: 모델 업데이트 시 노이즈를 추가하여 개별 데이터의 식별 가능성을 낮춤.
– Secure Multi-Party Computation(SMPC): 여러 참여자가 암호화된 상태로 연산을 수행하여, 학습 과정에서 원본 데이터나 파라미터가 노출되지 않도록 함.

3. 통신 효율화 기법
– 모델 압축: 전송해야 할 모델 파라미터를 압축하여 통신량 감소.
– 업데이트 빈도 조절: 모든 라운드마다 전송하지 않고 일정 주기마다 업데이트를 전송하여 통신 부담 완화.

4. 클라이언트 선택 전략
– 모든 클라이언트를 매 라운드에 참여시키지 않고 일부만 선택하여 학습 효율성을 높임.
– 선택 기준은 무작위, 데이터 품질, 네트워크 상태 등 다양하게 설정 가능.

5. 실제 적용 사례
– Google Gboard 키보드의 단어 추천 모델: 사용자의 입력 데이터를 서버로 직접 전송하지 않고, 로컬에서 학습 후 모델 파라미터만 공유하여 개인 정보 보호와 성능 향상을 동시에 달성.

6. 시험 출제 경향
– Federated Learning과 일반 분산 학습, 중앙집중형 학습의 차이 비교 문제가 자주 출제됨.
– 데이터 저장 위치, 통신 방식, 보안 방식, 학습 절차의 차이를 정확히 이해해야 함.