Federated Learning:Challenges,Methods and Future Directions
Federated Learning:Challenges,Methods and Future Directions
Abstract
说明联盟学习的主要挑战,以及提供几个研究方向.
Introductions
设备计算力的提升 —-> 边缘计算 —-> 联盟学习 描述了一下联盟学习的流程 ☆ 特别用于对于隐私数据的训练,情感分析,用户踪迹预测等
- 节点范围: 个人,组织,物联网
Problem Formulation
- 前提:数据不出本地
- 定义损失函数
$$ \min_w F(w), \ where \ F(w):=\sum_{k=1}^mp_kF_k(w)$$
$\sum_{k=1}^mp_k=1$, 相当于各个设备损失函数的加权平均数
Core Challenges
Challenge 1: Expensive Communication
- 减少轮次
- 减少传输数据量
Challenge 2: Systems Heterogeneity 设备条件不同,数量众多,在训练中容易出现故障 需要做到:
- 容错
- 允许丢失设备,并支持后续处理
- 对参与计算的设备少能够有所准备
Challenge 3: Statistical Heterogeneity 数据不再满足局部性原理
Challenge 4: Privacy Concerns 隐私问题
Related and Current Work
Communication Efficiency
把一个问题分成若干个子问题 交由不同的设备处理
ADMM问题?
Federated Averaging适合非凸优化问题,即存在全局最优解的问题
