ㅁ 연합학습 및 프라이버시

ㅇ 정의:
– 연합학습은 데이터를 중앙 서버로 이동시키지 않고, 각 참여자(클라이언트)들이 로컬 데이터를 활용해 모델을 학습하고, 이를 중앙 서버에서 통합하는 방식의 기계 학습 기술입니다.
– 프라이버시 보존과 데이터 보안을 중점으로 설계된 기술입니다.

ㅇ 특징:
– 데이터가 로컬에 남아 있어 프라이버시 침해 가능성을 줄임.
– 중앙 서버는 모델 업데이트만 수집하므로 데이터 전송 비용이 감소.
– 클라이언트 간의 데이터 불균형 및 네트워크 지연에 따라 성능이 달라질 수 있음.

ㅇ 적합한 경우:
– 의료, 금융 등 데이터 보안이 중요한 영역에서 활용 가능.
– 데이터가 여러 기관이나 디바이스에 분산되어 있는 경우.

ㅇ 시험 함정:
– 연합학습과 단순 분산 학습을 혼동할 가능성.
– 데이터 불균형 문제를 간과하거나 네트워크 효율성을 과대평가할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 연합학습은 데이터가 중앙 서버로 이동하지 않고 로컬에서 학습된 모델 업데이트만 공유한다.
– X: 연합학습은 모든 데이터를 중앙 서버로 전송하여 학습한다.

================================

1. Federated Averaging

ㅇ 정의:
– Federated Averaging은 연합학습에서 로컬 모델 업데이트를 중앙 서버에서 평균화하여 글로벌 모델을 업데이트하는 알고리즘입니다.

ㅇ 특징:
– 클라이언트별로 로컬 모델을 학습한 후, 중앙 서버에서 이를 평균화하여 글로벌 모델을 생성.
– 데이터 불균형 및 클라이언트 간의 계산 능력 차이에 민감할 수 있음.

ㅇ 적합한 경우:
– 데이터가 비균일하게 분포되어 있는 환경에서.
– 클라이언트가 제한된 계산 자원을 가지고 있는 경우.

ㅇ 시험 함정:
– Federated Averaging과 단순 평균화 기법을 혼동할 가능성.
– 클라이언트의 데이터 크기나 품질을 고려하지 않는다고 잘못 이해할 가능성.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Federated Averaging은 클라이언트에서 학습된 모델의 가중치를 중앙 서버에서 평균화하여 글로벌 모델을 생성한다.
– X: Federated Averaging은 모든 데이터를 중앙 서버로 전송하여 평균을 계산한다.

ㅁ 추가 학습 내용

1. Federated Averaging의 주요 단점:
– 데이터 불균형: 클라이언트 간 데이터 분포가 다를 경우, 특정 클라이언트의 데이터가 글로벌 모델에 과도한 영향을 미치거나 반대로 제대로 반영되지 않을 수 있습니다. 이는 모델의 일반화 성능을 저하시킬 수 있습니다.
– 계산 능력 차이: 클라이언트의 하드웨어 성능이나 네트워크 환경이 다를 경우, 일부 클라이언트가 작업을 완료하는 데 더 많은 시간이 걸릴 수 있습니다. 이는 전체 학습 프로세스의 병목현상을 유발하거나, 일부 클라이언트를 제외시키는 불균형을 초래할 수 있습니다.

2. 데이터 프라이버시를 강화하기 위한 보안 기법:
– Differential Privacy: 클라이언트의 데이터가 글로벌 모델에 반영될 때, 개인 데이터를 보호하기 위해 노이즈를 추가하는 기법입니다. 이를 통해 개별 데이터가 모델 업데이트에 미치는 영향을 숨기고, 데이터 유출 가능성을 낮출 수 있습니다.
– Secure Aggregation: 클라이언트가 모델 업데이트를 서버로 전송할 때, 업데이트 데이터를 암호화하여 개별 클라이언트의 기여도를 서버가 알 수 없도록 하는 기술입니다. 이를 통해 데이터 프라이버시를 유지하면서도 모델 학습이 가능하게 합니다.

3. Federated Averaging의 응용 사례:
– Google Keyboard: 사용자의 입력 데이터를 중앙 서버로 전송하지 않고도 키보드 입력 예측 모델을 학습하는 데 Federated Averaging을 활용한 사례입니다. 사용자의 스마트폰에서 로컬 데이터를 활용해 개인화된 모델 업데이트를 수행하고, 이를 글로벌 모델에 반영하여 사용자 경험을 개선합니다. 이 방법은 데이터 프라이버시를 보호하면서도 실시간으로 사용자 맞춤형 서비스를 제공할 수 있는 좋은 예시입니다.