聯邦學習：按混合分布划分Non-IID樣本
1 混合分布（Mixture Distribution）划分算法 我們在博文《聯邦學習：按病態獨立同分布划分Non-IID樣本》中學習了聯邦學習開山論文[1]中按照病態獨立同分布（Pathological Non-IID）划分樣本。 在上一篇博文《聯邦學習：按Dirichlet分布划分 ...
原文：聯邦學習：按Dirichlet分布划分Non-IID樣本
導引 我們在 Python中的隨機采樣和概率分布 二 介紹了如何用Python現有的庫對一個概率分布進行采樣，其中的Dirichlet分布大家一定不會感到陌生，這篇博客我們來更詳細地介紹Dirichlet分布的性質及其在聯邦學習領域的應用。 Dirichlet分布及其性質 Dirichlet分布 是定義在 mathbb R N 上的概率密度。Dirichlet分布以度量 bm u 所有系數 bm ...
2022-02-15 19:15 2 3457 推薦指數：
相關推薦
聯邦學習：按病態非獨立同分布划分Non-IID樣本
1 病態不獨立同分布（Non-IID）划分算法 在博客《分布式機器學習、聯邦學習、多智能體的區別和聯系》中我們提到論文[1]聯邦學習每個client具有數據不獨立同分布(Non-IID)的性質。 聯邦學習的論文多是用FEMNIST、CIFAR10、Shakespare、Synthetic ...
On the Convergence of FedAvg on Non-IID Data
鄭重聲明：原文參見標題，如有侵權，請聯系作者，將會撤銷發布！ arXiv:1907.02189v2 [stat.ML] 8 Oct 2019 Abstract 聯邦學習使得大量的邊緣計算設備在不共享數據的情況下共同學習模型。聯邦平均法（FedAvg）是該算法中的一種主要算法 ...
Optimizing Federated Learning on Non-IID Data with Reinforcement Learning 筆記
閱讀論文 Optimizing Federated Learning on Non-IID Data with Reinforcement Learning 的筆記 如有侵權，請聯系作者，將會撤銷發布。 主要講什么 提出FAVOR，一個經驗驅動控制的框架。 智能的選擇 ...
Overcoming Forgetting in Federated Learning on Non-IID Data
, Canada. Abstract 我們解決了非i.i.d.情況下的聯邦學習問 ...
基於散列和RSA的縱向聯邦學習樣本對齊實現方案
在縱向聯邦學習聯合建模過程中，兩家公司用戶群體不可能完全重疊，第一步需要找到相同的用戶ID集合。在不泄露數據前提下，找到雙方公共ID集合的技術稱為私有集交集（Private Set Intersection, PSI）。下面介紹一下基於散列和RSA算法的實現方案。 假設： 公司 ...
獨立同分布（iid）
是指隨機過程中，任何時刻的取值都為隨機變量，如果這些隨機變量服從同一分布，並且互相獨立，那么這些隨機變量是獨立同分布。如果隨機變量X1和X2獨立，是指X1的取值不影響X2的取值，X2的取值也不影響X1的取值且隨機變量X1和X2服從同一分布，這意味着X1和X2具有相同的分布形狀和相同的分布參數 ...
Dirichlet分布及其屬性
Dirichlet分布 在概率統計中，Dirichlet分布通常表示為，是一個以正實數的向量為參數的連續多變量概率分布族。這是Beta分布的多元推廣。在貝葉斯統計中，狄氏分布很多情況下可作為先驗分布，其實Dirichlet分布是類別分布和多項分布的共軛先驗。 狄利克雷分布向無限維度的推廣便是狄 ...