Optimizing Federated Learning on Non-IID Data with Reinforcement Learning 筆記
閱讀論文 Optimizing Federated Learning on Non-IID Data with Reinforcement Learning 的筆記 如有侵權，請聯系作者，將會撤銷發布。 主要講什么 提出FAVOR，一個經驗驅動控制的框架。 智能的選擇 ...
原文：On the Convergence of FedAvg on Non-IID Data
鄭重聲明：原文參見標題，如有侵權，請聯系作者，將會撤銷發布 arXiv: . v stat.ML Oct Abstract 聯邦學習使得大量的邊緣計算設備在不共享數據的情況下共同學習模型。聯邦平均法 FedAvg 是該算法中的一種主要算法，它在所有設備的一小部分上並行運行隨機梯度下降 SGD ，並每隔一段時間對序列進行平均。盡管它很簡單，但在現實環境下卻缺乏理論上的保障。本文分析了FedAvg在非 ...
2019-11-17 11:59 0 839 推薦指數：
相關推薦
Overcoming Forgetting in Federated Learning on Non-IID Data
鄭重聲明：原文參見標題，如有侵權，請聯系作者，將會撤銷發布！ 以下是對本文關鍵部分的摘抄翻譯，詳情請參見原文。 NeurIPS 2019 Workshop on Federated Learning for Data Privacy and Confidentiality, Vancouver ...
聯邦學習：按混合分布划分Non-IID樣本
1 混合分布（Mixture Distribution）划分算法 我們在博文《聯邦學習：按病態獨立同分布划分Non-IID樣本》中學習了聯邦學習開山論文[1]中按照病態獨立同分布（Pathological Non-IID）划分樣本。 在上一篇博文《聯邦學習：按Dirichlet分布划分 ...
聯邦學習：按Dirichlet分布划分Non-IID樣本
1 導引 我們在《Python中的隨機采樣和概率分布(二)》介紹了如何用Python現有的庫對一個概率分布進行采樣，其中的Dirichlet分布大家一定不會感到陌生，這篇博客我們來更詳細地介紹Dir ...
聯邦學習：按病態非獨立同分布划分Non-IID樣本
1 病態不獨立同分布（Non-IID）划分算法 在博客《分布式機器學習、聯邦學習、多智能體的區別和聯系》中我們提到論文[1]聯邦學習每個client具有數據不獨立同分布(Non-IID)的性質。 聯邦學習的論文多是用FEMNIST、CIFAR10、Shakespare、Synthetic ...
Example of DenseCRF with non-RGB data
/lucasb-eyer/pydensecrf/tree/master/examples/Non RGB ...
FedSGD 與FedAvg小記
減少通信次數：多做計算，少做通信 FedSGD： worker節點： server節點: FedAvg方法： worker節點： 在節點本地進行多次梯度下降更新參數 server節點： 該方法通過增加了節點本地結算量，減少了通信量 ...
依分布收斂（convergence in distribution）
Convergence in distribution 依分布收斂是隨機變量列的一種收斂性，設{ξn，n≥1}是概率空間(Ω，F，P)上的隨機變量列，其相應的分布函數列為{Fn(x)，n≥1}，如果Fn(x)弱收斂於隨機變量ξ的分布函數F(x)，則稱隨機變量列ξn依分布收斂到隨機變量 ...