ㅁ 분산 전략

ㅇ 정의: 분산 전략은 데이터를 중앙 집중화하지 않고 여러 노드에서 분산 처리하는 방법을 의미하며, 데이터 프라이버시와 효율성을 동시에 고려한 학습 방법이다.

ㅇ 특징: 데이터가 로컬에서 유지되며, 모델 업데이트만 공유됨. 네트워크 효율성이 중요하며, 데이터 불균형 문제를 해결하기 위해 추가적인 알고리즘이 필요할 수 있음.

ㅇ 적합한 경우: 데이터 프라이버시가 중요한 환경, 예를 들어 의료 데이터, 금융 데이터, 또는 사용자 기기에서 데이터를 수집하는 경우.

ㅇ 시험 함정: 분산 전략과 중앙 집중식 학습의 차이를 혼동하거나, 데이터 불균형 문제를 간과할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 분산 전략은 데이터 프라이버시를 보장할 수 있다.
– X: 분산 전략은 모든 데이터를 중앙 서버로 전송한다.

================================

1. Federated Learning

ㅇ 정의: Federated Learning은 여러 기기 또는 노드에서 데이터를 로컬로 유지하면서 모델을 공동으로 학습하는 분산 학습 기술이다.

ㅇ 특징: 데이터는 로컬에서 유지되며, 모델 업데이트만 서버로 전송된다. 데이터 프라이버시를 강화하며, 네트워크 대역폭이 적게 사용된다.

ㅇ 적합한 경우: 사용자 기기에서 데이터를 보호해야 하는 경우, 예를 들어 스마트폰 사용 패턴 분석, 의료 데이터 분석.

ㅇ 시험 함정: Federated Learning과 일반적인 분산 학습의 차이를 혼동하거나, 데이터 불균형 문제를 고려하지 않을 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Federated Learning은 데이터 프라이버시를 강화한다.
– X: Federated Learning은 데이터를 중앙 서버에 저장한다.

================================

ㅁ 추가 학습 내용

Federated Learning에서 데이터 불균형 문제를 해결하기 위한 알고리즘 중 하나로 Federated Averaging(FedAvg)이 자주 언급됩니다. FedAvg는 각 클라이언트에서 로컬 데이터를 사용하여 모델을 학습한 후, 중앙 서버에서 클라이언트들의 모델 업데이트를 평균화하여 글로벌 모델을 생성하는 방식입니다. 데이터 불균형 문제를 해결하기 위해 FedAvg는 클라이언트의 데이터 크기나 품질을 고려한 가중치를 부여하여 평균화를 수행할 수 있습니다. 이를 통해 각 클라이언트의 데이터가 균형 있게 반영될 수 있도록 조정됩니다.

연합 학습의 주요 응용 사례는 다음과 같습니다:
1. 스마트폰 키보드 추천 시스템: 사용자 개인의 입력 데이터를 로컬에서 학습하여 키보드 추천 알고리즘을 개선하며, 개인 데이터를 서버로 전송하지 않고도 성능을 향상시킬 수 있습니다.
2. 의료 데이터 보호: 병원 간 민감한 환자 데이터를 공유하지 않고도 연합 학습을 통해 질병 예측 모델이나 의료 진단 알고리즘을 공동으로 개발할 수 있습니다.
3. IoT 기기 간 협업 학습: 다양한 IoT 기기가 개별적으로 데이터를 학습하고, 연합 학습을 통해 글로벌 모델을 구축하여 기기 간 협업을 강화할 수 있습니다. 예를 들어 스마트 홈 기기들이 사용자 행동 패턴을 학습하여 맞춤형 서비스를 제공할 수 있습니다.

이와 같은 사례들은 연합 학습의 실질적인 활용 가능성을 보여주며, 데이터 프라이버시와 보안 문제를 해결하는 데 중요한 역할을 합니다.