联邦学习：按混合分布划分Non-IID样本
1 混合分布（Mixture Distribution）划分算法 我们在博文《联邦学习：按病态独立同分布划分Non-IID样本》中学习了联邦学习开山论文[1]中按照病态独立同分布（Pathological Non-IID）划分样本。 在上一篇博文《联邦学习：按Dirichlet分布划分 ...
原文：联邦学习：按病态非独立同分布划分Non-IID样本
病态不独立同分布 Non IID 划分算法 在博客 分布式机器学习 联邦学习 多智能体的区别和联系 中我们提到论文 联邦学习每个client具有数据不独立同分布 Non IID 的性质。 联邦学习的论文多是用FEMNIST CIFAR Shakespare Synthetic等数据集对模型进行测试，这些数据集包括CV NLP 普通分类 回归这三种不同的任务。在单次实验时，我们对原始数据集进行非独 ...
2021-12-01 22:47 3 2010 推荐指数：
相关推荐
联邦学习：按Dirichlet分布划分Non-IID样本
1 导引 我们在《Python中的随机采样和概率分布(二)》介绍了如何用Python现有的库对一个概率分布进行采样，其中的Dirichlet分布大家一定不会感到陌生，这篇博客我们来更详细地介绍Dirichlet分布的性质及其在联邦学习领域的应用。 2 Dirichlet分布及其性质 ...
独立同分布（iid）
是指随机过程中，任何时刻的取值都为随机变量，如果这些随机变量服从同一分布，并且互相独立，那么这些随机变量是独立同分布。如果随机变量X1和X2独立，是指X1的取值不影响X2的取值，X2的取值也不影响X1的取值且随机变量X1和X2服从同一分布，这意味着X1和X2具有相同的分布形状和相同的分布参数 ...
On the Convergence of FedAvg on Non-IID Data
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ arXiv:1907.02189v2 [stat.ML] 8 Oct 2019 Abstract 联邦学习使得大量的边缘计算设备在不共享数据的情况下共同学习模型。联邦平均法（FedAvg）是该算法中的一种主要算法 ...
Optimizing Federated Learning on Non-IID Data with Reinforcement Learning 笔记
客户端设备来参与联邦学习中每一轮训练，以抵消数据非独立同分布带啊来的偏差，并提升收敛的速度。 使用了 ...
Overcoming Forgetting in Federated Learning on Non-IID Data
, Canada. Abstract 我们解决了非i.i.d.情况下的联邦学习问 ...
独立同分布（总结）
独立同分布（总结） 一、总结 一句话总结： 【服从同一分布，并且相互独立】：独立同分布（iid，independently identically distribution） [1] 在概率统计理论中，指随机过程中，任何时刻的取值都为随机变量，如果这些随机变量服从同一分布，并且互相独立 ...
为什么机器学习中常常假设数据是独立同分布的？
、方差。 独立同分布（iid） 在不少问题中要求样本（数据）采样自同一个分布是因为希望用训练数据集训练 ...