联邦学习：按Dirichlet分布划分Non-IID样本
1 导引 我们在《Python中的随机采样和概率分布(二)》介绍了如何用Python现有的库对一个概率分布进行采样，其中的Dirichlet分布大家一定不会感到陌生，这篇博客我们来更详细地介绍Dirichlet分布的性质及其在联邦学习领域的应用。 2 Dirichlet分布及其性质 ...
原文：联邦学习：按混合分布划分Non-IID样本
混合分布 Mixture Distribution 划分算法 我们在博文 联邦学习：按病态独立同分布划分Non IID样本 中学习了联邦学习开山论文 中按照病态独立同分布 Pathological Non IID 划分样本。 在上一篇博文 联邦学习：按Dirichlet分布划分Non IID样本 中我们也已经提到了按照Dirichlet分布划分联邦学习Non IID数据集的一种算法。下面让我们来 ...
2022-03-10 21:39 2 1891 推荐指数：
相关推荐
联邦学习：按病态非独立同分布划分Non-IID样本
1 病态不独立同分布（Non-IID）划分算法 在博客《分布式机器学习、联邦学习、多智能体的区别和联系》中我们提到论文[1]联邦学习每个client具有数据不独立同分布(Non-IID)的性质。 联邦学习的论文多是用FEMNIST、CIFAR10、Shakespare、Synthetic ...
On the Convergence of FedAvg on Non-IID Data
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ arXiv:1907.02189v2 [stat.ML] 8 Oct 2019 Abstract 联邦学习使得大量的边缘计算设备在不共享数据的情况下共同学习模型。联邦平均法（FedAvg）是该算法中的一种主要算法 ...
Optimizing Federated Learning on Non-IID Data with Reinforcement Learning 笔记
阅读论文 Optimizing Federated Learning on Non-IID Data with Reinforcement Learning 的笔记 如有侵权，请联系作者，将会撤销发布。 主要讲什么 提出FAVOR，一个经验驱动控制的框架。 智能的选择 ...
Overcoming Forgetting in Federated Learning on Non-IID Data
, Canada. Abstract 我们解决了非i.i.d.情况下的联邦学习问 ...
基于散列和RSA的纵向联邦学习样本对齐实现方案
在纵向联邦学习联合建模过程中，两家公司用户群体不可能完全重叠，第一步需要找到相同的用户ID集合。在不泄露数据前提下，找到双方公共ID集合的技术称为私有集交集（Private Set Intersection, PSI）。下面介绍一下基于散列和RSA算法的实现方案。 假设： 公司 ...
独立同分布（iid）
是指随机过程中，任何时刻的取值都为随机变量，如果这些随机变量服从同一分布，并且互相独立，那么这些随机变量是独立同分布。如果随机变量X1和X2独立，是指X1的取值不影响X2的取值，X2的取值也不影响X1的取值且随机变量X1和X2服从同一分布，这意味着X1和X2具有相同的分布形状和相同的分布参数 ...
如何划分样本集？
在构建模型前，需要将样本集划分为训练集、验证集、测试集，按什么比例划分比较合适呢？ 在机器学习发展的小数据量时代，常见做法是将所有数据三七分，就是人们常说的70%验证集，30%测试集，如果没有明确设置验证集，也可以按照60%训练，20%验证和20%测试集来划分。这是前几年机器学习领域普遍认可 ...