聯邦學習：按病態非獨立同分布划分Non-IID樣本
1 病態不獨立同分布（Non-IID）划分算法 在博客《分布式機器學習、聯邦學習、多智能體的區別和聯系》中我們提到論文[1]聯邦學習每個client具有數據不獨立同分布(Non-IID)的性質。 聯邦學習的論文多是用FEMNIST、CIFAR10、Shakespare、Synthetic ...
原文：獨立同分布（iid）
是指隨機過程中，任何時刻的取值都為隨機變量，如果這些隨機變量服從同一分布，並且互相獨立，那么這些隨機變量是獨立同分布。如果隨機變量X 和X 獨立，是指X 的取值不影響X 的取值，X 的取值也不影響X 的取值且隨機變量X 和X 服從同一分布，這意味着X 和X 具有相同的分布形狀和相同的分布參數，對離散隨機變量具有相同的分布律，對連續隨機變量具有相同的概率密度函數，有着相同的分布函數，相同的期望 方差 ...
2020-04-27 23:41 0 784 推薦指數：
相關推薦
獨立同分布（總結）
獨立同分布（總結） 一、總結 一句話總結： 【服從同一分布，並且相互獨立】：獨立同分布（iid，independently identically distribution） [1] 在概率統計理論中，指隨機過程中，任何時刻的取值都為隨機變量，如果這些隨機變量服從同一分布，並且互相獨立 ...
數據的獨立同分布檢驗
一 同分布檢驗 1.1 判斷數據是否來自於某種分布 p值大於0.05，接受原假設，即原數據符合正態分布。 1.2 判斷兩組數據是否同分布 p值小於0.05，所以x與y分布不一樣。 非參數檢驗 ...
為什么機器學習中常常假設數據是獨立同分布的？
、方差。 獨立同分布（iid） 在不少問題中要求樣本（數據）采樣自同一個分布是因為希望用訓練數據集訓練 ...
中心極限定理證明（獨立同分布）
Suppose $\{Z_t\}$ is i.i.d. $(\mu,\sigma^2)$, and $ \bar{Z}_n=n^{-1}\sum_{t=1}^n Z_t$, then as $n ...
聯邦學習：按Dirichlet分布划分Non-IID樣本
1 導引 我們在《Python中的隨機采樣和概率分布(二)》介紹了如何用Python現有的庫對一個概率分布進行采樣，其中的Dirichlet分布大家一定不會感到陌生，這篇博客我們來更詳細地介紹Dirichlet分布的性質及其在聯邦學習領域的應用。 2 Dirichlet分布及其性質 ...
聯邦學習：按混合分布划分Non-IID樣本
1 混合分布（Mixture Distribution）划分算法 我們在博文《聯邦學習：按病態獨立同分布划分Non-IID樣本》中學習了聯邦學習開山論文[1]中按照病態獨立同分布（Pathological Non-IID）划分樣本。 在上一篇博文《聯邦學習：按Dirichlet分布划分 ...
吳恩達讀書筆記【3】-基於不同分布數據的模型
什么叫不同分布的數據 舉幾個例子來說明 例子1，要訓練一個手機端的貓識別器，現在有 10000 張手機端的照片，並且被人為標記為是不是貓，然后我們可以從互聯網上得到 200000 張貓咪圖片，網絡上的照片和移動手機端的照片就屬於不同分布； 例子2，要訓練一個語音識別系統，將某個地址轉換成 ...