联邦学习：按病态非独立同分布划分Non-IID样本
1 病态不独立同分布（Non-IID）划分算法 在博客《分布式机器学习、联邦学习、多智能体的区别和联系》中我们提到论文[1]联邦学习每个client具有数据不独立同分布(Non-IID)的性质。 联邦学习的论文多是用FEMNIST、CIFAR10、Shakespare、Synthetic ...
原文：独立同分布（iid）
是指随机过程中，任何时刻的取值都为随机变量，如果这些随机变量服从同一分布，并且互相独立，那么这些随机变量是独立同分布。如果随机变量X 和X 独立，是指X 的取值不影响X 的取值，X 的取值也不影响X 的取值且随机变量X 和X 服从同一分布，这意味着X 和X 具有相同的分布形状和相同的分布参数，对离散随机变量具有相同的分布律，对连续随机变量具有相同的概率密度函数，有着相同的分布函数，相同的期望 方差 ...
2020-04-27 23:41 0 784 推荐指数：
相关推荐
独立同分布（总结）
独立同分布（总结） 一、总结 一句话总结： 【服从同一分布，并且相互独立】：独立同分布（iid，independently identically distribution） [1] 在概率统计理论中，指随机过程中，任何时刻的取值都为随机变量，如果这些随机变量服从同一分布，并且互相独立 ...
数据的独立同分布检验
一 同分布检验 1.1 判断数据是否来自于某种分布 p值大于0.05，接受原假设，即原数据符合正态分布。 1.2 判断两组数据是否同分布 p值小于0.05，所以x与y分布不一样。 非参数检验 ...
为什么机器学习中常常假设数据是独立同分布的？
、方差。 独立同分布（iid） 在不少问题中要求样本（数据）采样自同一个分布是因为希望用训练数据集训练 ...
中心极限定理证明（独立同分布）
Suppose $\{Z_t\}$ is i.i.d. $(\mu,\sigma^2)$, and $ \bar{Z}_n=n^{-1}\sum_{t=1}^n Z_t$, then as $n ...
联邦学习：按Dirichlet分布划分Non-IID样本
1 导引 我们在《Python中的随机采样和概率分布(二)》介绍了如何用Python现有的库对一个概率分布进行采样，其中的Dirichlet分布大家一定不会感到陌生，这篇博客我们来更详细地介绍Dirichlet分布的性质及其在联邦学习领域的应用。 2 Dirichlet分布及其性质 ...
联邦学习：按混合分布划分Non-IID样本
1 混合分布（Mixture Distribution）划分算法 我们在博文《联邦学习：按病态独立同分布划分Non-IID样本》中学习了联邦学习开山论文[1]中按照病态独立同分布（Pathological Non-IID）划分样本。 在上一篇博文《联邦学习：按Dirichlet分布划分 ...
吴恩达读书笔记【3】-基于不同分布数据的模型
什么叫不同分布的数据 举几个例子来说明 例子1，要训练一个手机端的猫识别器，现在有 10000 张手机端的照片，并且被人为标记为是不是猫，然后我们可以从互联网上得到 200000 张猫咪图片，网络上的照片和移动手机端的照片就属于不同分布； 例子2，要训练一个语音识别系统，将某个地址转换成 ...