联邦学习：按混合分布划分Non-IID样本
1 混合分布（Mixture Distribution）划分算法 我们在博文《联邦学习：按病态独立同分布划分Non-IID样本》中学习了联邦学习开山论文[1]中按照病态独立同分布（Pathological Non-IID）划分样本。 在上一篇博文《联邦学习：按Dirichlet分布划分 ...
原文：联邦学习：按Dirichlet分布划分Non-IID样本
导引 我们在 Python中的随机采样和概率分布 二 介绍了如何用Python现有的库对一个概率分布进行采样，其中的Dirichlet分布大家一定不会感到陌生，这篇博客我们来更详细地介绍Dirichlet分布的性质及其在联邦学习领域的应用。 Dirichlet分布及其性质 Dirichlet分布 是定义在 mathbb R N 上的概率密度。Dirichlet分布以度量 bm u 所有系数 bm ...
2022-02-15 19:15 2 3457 推荐指数：
相关推荐
联邦学习：按病态非独立同分布划分Non-IID样本
1 病态不独立同分布（Non-IID）划分算法 在博客《分布式机器学习、联邦学习、多智能体的区别和联系》中我们提到论文[1]联邦学习每个client具有数据不独立同分布(Non-IID)的性质。 联邦学习的论文多是用FEMNIST、CIFAR10、Shakespare、Synthetic ...
On the Convergence of FedAvg on Non-IID Data
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ arXiv:1907.02189v2 [stat.ML] 8 Oct 2019 Abstract 联邦学习使得大量的边缘计算设备在不共享数据的情况下共同学习模型。联邦平均法（FedAvg）是该算法中的一种主要算法 ...
Optimizing Federated Learning on Non-IID Data with Reinforcement Learning 笔记
阅读论文 Optimizing Federated Learning on Non-IID Data with Reinforcement Learning 的笔记 如有侵权，请联系作者，将会撤销发布。 主要讲什么 提出FAVOR，一个经验驱动控制的框架。 智能的选择 ...
Overcoming Forgetting in Federated Learning on Non-IID Data
, Canada. Abstract 我们解决了非i.i.d.情况下的联邦学习问 ...
基于散列和RSA的纵向联邦学习样本对齐实现方案
在纵向联邦学习联合建模过程中，两家公司用户群体不可能完全重叠，第一步需要找到相同的用户ID集合。在不泄露数据前提下，找到双方公共ID集合的技术称为私有集交集（Private Set Intersection, PSI）。下面介绍一下基于散列和RSA算法的实现方案。 假设： 公司 ...
独立同分布（iid）
是指随机过程中，任何时刻的取值都为随机变量，如果这些随机变量服从同一分布，并且互相独立，那么这些随机变量是独立同分布。如果随机变量X1和X2独立，是指X1的取值不影响X2的取值，X2的取值也不影响X1的取值且随机变量X1和X2服从同一分布，这意味着X1和X2具有相同的分布形状和相同的分布参数 ...
Dirichlet分布及其属性
Dirichlet分布 在概率统计中，Dirichlet分布通常表示为，是一个以正实数的向量为参数的连续多变量概率分布族。这是Beta分布的多元推广。在贝叶斯统计中，狄氏分布很多情况下可作为先验分布，其实Dirichlet分布是类别分布和多项分布的共轭先验。 狄利克雷分布向无限维度的推广便是狄 ...