聯邦學習：按Dirichlet分布划分Non-IID樣本
1 導引 我們在《Python中的隨機采樣和概率分布(二)》介紹了如何用Python現有的庫對一個概率分布進行采樣，其中的Dirichlet分布大家一定不會感到陌生，這篇博客我們來更詳細地介紹Dirichlet分布的性質及其在聯邦學習領域的應用。 2 Dirichlet分布及其性質 ...
原文：聯邦學習：按混合分布划分Non-IID樣本
混合分布 Mixture Distribution 划分算法 我們在博文 聯邦學習：按病態獨立同分布划分Non IID樣本 中學習了聯邦學習開山論文 中按照病態獨立同分布 Pathological Non IID 划分樣本。 在上一篇博文 聯邦學習：按Dirichlet分布划分Non IID樣本 中我們也已經提到了按照Dirichlet分布划分聯邦學習Non IID數據集的一種算法。下面讓我們來 ...
2022-03-10 21:39 2 1891 推薦指數：
相關推薦
聯邦學習：按病態非獨立同分布划分Non-IID樣本
1 病態不獨立同分布（Non-IID）划分算法 在博客《分布式機器學習、聯邦學習、多智能體的區別和聯系》中我們提到論文[1]聯邦學習每個client具有數據不獨立同分布(Non-IID)的性質。 聯邦學習的論文多是用FEMNIST、CIFAR10、Shakespare、Synthetic ...
On the Convergence of FedAvg on Non-IID Data
鄭重聲明：原文參見標題，如有侵權，請聯系作者，將會撤銷發布！ arXiv:1907.02189v2 [stat.ML] 8 Oct 2019 Abstract 聯邦學習使得大量的邊緣計算設備在不共享數據的情況下共同學習模型。聯邦平均法（FedAvg）是該算法中的一種主要算法 ...
Optimizing Federated Learning on Non-IID Data with Reinforcement Learning 筆記
閱讀論文 Optimizing Federated Learning on Non-IID Data with Reinforcement Learning 的筆記 如有侵權，請聯系作者，將會撤銷發布。 主要講什么 提出FAVOR，一個經驗驅動控制的框架。 智能的選擇 ...
Overcoming Forgetting in Federated Learning on Non-IID Data
, Canada. Abstract 我們解決了非i.i.d.情況下的聯邦學習問 ...
基於散列和RSA的縱向聯邦學習樣本對齊實現方案
在縱向聯邦學習聯合建模過程中，兩家公司用戶群體不可能完全重疊，第一步需要找到相同的用戶ID集合。在不泄露數據前提下，找到雙方公共ID集合的技術稱為私有集交集（Private Set Intersection, PSI）。下面介紹一下基於散列和RSA算法的實現方案。 假設： 公司 ...
獨立同分布（iid）
是指隨機過程中，任何時刻的取值都為隨機變量，如果這些隨機變量服從同一分布，並且互相獨立，那么這些隨機變量是獨立同分布。如果隨機變量X1和X2獨立，是指X1的取值不影響X2的取值，X2的取值也不影響X1的取值且隨機變量X1和X2服從同一分布，這意味着X1和X2具有相同的分布形狀和相同的分布參數 ...
如何划分樣本集？
在構建模型前，需要將樣本集划分為訓練集、驗證集、測試集，按什么比例划分比較合適呢？ 在機器學習發展的小數據量時代，常見做法是將所有數據三七分，就是人們常說的70%驗證集，30%測試集，如果沒有明確設置驗證集，也可以按照60%訓練，20%驗證和20%測試集來划分。這是前幾年機器學習領域普遍認可 ...