聯邦學習：按混合分布划分Non-IID樣本
1 混合分布（Mixture Distribution）划分算法 我們在博文《聯邦學習：按病態獨立同分布划分Non-IID樣本》中學習了聯邦學習開山論文[1]中按照病態獨立同分布（Pathological Non-IID）划分樣本。 在上一篇博文《聯邦學習：按Dirichlet分布划分 ...
原文：聯邦學習：按病態非獨立同分布划分Non-IID樣本
病態不獨立同分布 Non IID 划分算法 在博客 分布式機器學習 聯邦學習 多智能體的區別和聯系 中我們提到論文 聯邦學習每個client具有數據不獨立同分布 Non IID 的性質。 聯邦學習的論文多是用FEMNIST CIFAR Shakespare Synthetic等數據集對模型進行測試，這些數據集包括CV NLP 普通分類 回歸這三種不同的任務。在單次實驗時，我們對原始數據集進行非獨 ...
2021-12-01 22:47 3 2010 推薦指數：
相關推薦
聯邦學習：按Dirichlet分布划分Non-IID樣本
1 導引 我們在《Python中的隨機采樣和概率分布(二)》介紹了如何用Python現有的庫對一個概率分布進行采樣，其中的Dirichlet分布大家一定不會感到陌生，這篇博客我們來更詳細地介紹Dirichlet分布的性質及其在聯邦學習領域的應用。 2 Dirichlet分布及其性質 ...
獨立同分布（iid）
是指隨機過程中，任何時刻的取值都為隨機變量，如果這些隨機變量服從同一分布，並且互相獨立，那么這些隨機變量是獨立同分布。如果隨機變量X1和X2獨立，是指X1的取值不影響X2的取值，X2的取值也不影響X1的取值且隨機變量X1和X2服從同一分布，這意味着X1和X2具有相同的分布形狀和相同的分布參數 ...
On the Convergence of FedAvg on Non-IID Data
鄭重聲明：原文參見標題，如有侵權，請聯系作者，將會撤銷發布！ arXiv:1907.02189v2 [stat.ML] 8 Oct 2019 Abstract 聯邦學習使得大量的邊緣計算設備在不共享數據的情況下共同學習模型。聯邦平均法（FedAvg）是該算法中的一種主要算法 ...
Optimizing Federated Learning on Non-IID Data with Reinforcement Learning 筆記
客戶端設備來參與聯邦學習中每一輪訓練，以抵消數據非獨立同分布帶啊來的偏差，並提升收斂的速度。 使用了 ...
Overcoming Forgetting in Federated Learning on Non-IID Data
, Canada. Abstract 我們解決了非i.i.d.情況下的聯邦學習問 ...
獨立同分布（總結）
獨立同分布（總結） 一、總結 一句話總結： 【服從同一分布，並且相互獨立】：獨立同分布（iid，independently identically distribution） [1] 在概率統計理論中，指隨機過程中，任何時刻的取值都為隨機變量，如果這些隨機變量服從同一分布，並且互相獨立 ...
為什么機器學習中常常假設數據是獨立同分布的？
、方差。 獨立同分布（iid） 在不少問題中要求樣本（數據）采樣自同一個分布是因為希望用訓練數據集訓練 ...