主要内容：
该篇论文提出了一个联邦学习框架——FedML，该框架支持三种计算范式：
on-device training for edge devices
distributed computing
single-machine simulation
强调联邦学习要解决的三大核心问题：
statistical heterogeneity
system constraints
trustworthiness
对上述问题的尝试：
statistical heterogeneity：
Adaptive Federated Optimizer
FedNova
FedProx
FedMA
system constraints：
apply sparsification（稀疏化） and quantization（量化） techniques to reduce
the communication overheads（开销）and computation costs during the training process
trustworthiness：
differential privacy（DP）差分隐私
secure multiparty computation (SMPC) 安全多方计算
本篇论文认为现存FL框架的问题：
Lack of support of diverse FL computing paradigms.
Lack of support of diverse FL configurations.
Lack of standardized FL algorithm implementations and benchmarks.
本篇论文给出的解决方案：
FedML的设计核心：
在面向客户端编程的API上强调：模型、数据、算法分离的结构设计，以便于复用代码。
支持在真实硬件平台上进行实验，FedML架构设计可以平稳地将分布式计算代码移植到
FedML- mobile和FedML- iot平台上，重用分布式计算范式中的几乎所有算法实现。
支持多种拓扑结构。
FedML Library: Programming Interface：
Worker/client-oriented programming：
相比于分布式的训练过程，Worker/client-oriented programming更加关注每个worker的行为，
更加灵活，能够定制每个woker的通信方式。
Message definition beyond gradient and model：
从消息流的角度来看，FedML还支持梯度或模型之外的消息交换。
Topology management：
FedML提供了TopologyManager来管理拓扑，并允许用户在训练期间向任意邻居发送消息。
Trainer and coordinator ：
FedML不会过度设计。相反，它将实现完全交给了开发人员，这反映了我们框架的灵活性。
Privacy, security, and robustness：
包含了实现公共加密原语(如秘密共享、密钥协议、数字签名和公钥基础设施)的底层api。
计划包括 Lagrange Coded Computing(LCC)的实现。LCC是最近开发的一种数据编码技术，
它实现了数据上任何多项式计算的最佳弹性、安全性(对抗节点)和私密性。
To accelerate generating benchmark results on new types of adversarial attacks in FL, we include the
latest robust aggregation methods presented in literature including (i) norm difference clipping [23];
weak differential private (DP) [23]; (ii) RFA (geometric median) [119]; (iii) KRUM and (iv) MULTI-
KRUM [120]. Our APIs are easily extendable to support newly developed types of robust aggregation
methods. On the attack end, we observe that most of the existing attacks are highly task-specific.
Thus, it is challenging to provide general adversarial attack APIs. Our APIs support the backdoor
with model replacement attack presented in [20] and the edge-case backdoor attack presented in [118]
to provide a reference for researchers to develop new attacks.
FedML Benchmark: Algorithms, Models, and Datasets：
Algorithms: Federated Optimizer：
FedML能够支持在网络拓扑、交换信息和训练过程中不同的FL算法，如下图：
Models and Datasets：
为了实施公平比较，FedML基准显式地指定了数据集、模型和non-I.I.D的组合，
用于实验的划分方法。特别地，我们将基准划分为三类:
1)线性模型(凸优化)
2)轻量级浅神经网络(非凸优化)
3)深度神经网络(非凸优化)
