主要內容：
該篇論文提出了一個聯邦學習框架——FedML，該框架支持三種計算范式：
on-device training for edge devices
distributed computing
single-machine simulation
強調聯邦學習要解決的三大核心問題：
statistical heterogeneity
system constraints
trustworthiness
對上述問題的嘗試：
statistical heterogeneity：
Adaptive Federated Optimizer
FedNova
FedProx
FedMA
system constraints：
apply sparsification（稀疏化） and quantization（量化） techniques to reduce
the communication overheads（開銷）and computation costs during the training process
trustworthiness：
differential privacy（DP）差分隱私
secure multiparty computation (SMPC) 安全多方計算
本篇論文認為現存FL框架的問題：
Lack of support of diverse FL computing paradigms.
Lack of support of diverse FL configurations.
Lack of standardized FL algorithm implementations and benchmarks.
本篇論文給出的解決方案：
FedML的設計核心：
在面向客戶端編程的API上強調：模型、數據、算法分離的結構設計，以便於復用代碼。
支持在真實硬件平台上進行實驗，FedML架構設計可以平穩地將分布式計算代碼移植到
FedML- mobile和FedML- iot平台上，重用分布式計算范式中的幾乎所有算法實現。
支持多種拓撲結構。
FedML Library: Programming Interface：
Worker/client-oriented programming：
相比於分布式的訓練過程，Worker/client-oriented programming更加關注每個worker的行為，
更加靈活，能夠定制每個woker的通信方式。
Message definition beyond gradient and model：
從消息流的角度來看，FedML還支持梯度或模型之外的消息交換。
Topology management：
FedML提供了TopologyManager來管理拓撲，並允許用戶在訓練期間向任意鄰居發送消息。
Trainer and coordinator ：
FedML不會過度設計。相反，它將實現完全交給了開發人員，這反映了我們框架的靈活性。
Privacy, security, and robustness：
包含了實現公共加密原語(如秘密共享、密鑰協議、數字簽名和公鑰基礎設施)的底層api。
計划包括 Lagrange Coded Computing(LCC)的實現。LCC是最近開發的一種數據編碼技術，
它實現了數據上任何多項式計算的最佳彈性、安全性(對抗節點)和私密性。
To accelerate generating benchmark results on new types of adversarial attacks in FL, we include the
latest robust aggregation methods presented in literature including (i) norm difference clipping [23];
weak differential private (DP) [23]; (ii) RFA (geometric median) [119]; (iii) KRUM and (iv) MULTI-
KRUM [120]. Our APIs are easily extendable to support newly developed types of robust aggregation
methods. On the attack end, we observe that most of the existing attacks are highly task-specific.
Thus, it is challenging to provide general adversarial attack APIs. Our APIs support the backdoor
with model replacement attack presented in [20] and the edge-case backdoor attack presented in [118]
to provide a reference for researchers to develop new attacks.
FedML Benchmark: Algorithms, Models, and Datasets：
Algorithms: Federated Optimizer：
FedML能夠支持在網絡拓撲、交換信息和訓練過程中不同的FL算法，如下圖：
Models and Datasets：
為了實施公平比較，FedML基准顯式地指定了數據集、模型和non-I.I.D的組合，
用於實驗的划分方法。特別地，我們將基准划分為三類:
1)線性模型(凸優化)
2)輕量級淺神經網絡(非凸優化)
3)深度神經網絡(非凸優化)
