©作者 | Doreen 01 联邦学习的背景知识 近年来,随着大量数据、更强的算力以及深度学习模型的出现,机器学习在各领域的应用中取得了较大的成功。 然而在实际操作中,为了使机器学习有更好的效果,人们不得不将大量原始数据送入模型中训练,这使得一些敏感数据被恶意的攻击者窃取 ...
当今的AI仍然面临两个主要挑战: 一是在大多数行业中,数据以孤立的孤岛形式存在。 另一个是加强数据隐私和安全性。 我们为这些挑战提出了一种可能的解决方案:安全的联邦学习。 联邦学习是一种新兴的机器学习方案。与传统的集中式机器学习不同,联邦学习通过将训练任务下放到用户侧,仅将训练得到的模型参数结果发送给服务端,从而使数据保持在用户本地,保证了用户数据的隐私。此外,通过引入更多的用户参与,联邦学习可以 ...
2020-04-19 20:00 4 2060 推荐指数:
©作者 | Doreen 01 联邦学习的背景知识 近年来,随着大量数据、更强的算力以及深度学习模型的出现,机器学习在各领域的应用中取得了较大的成功。 然而在实际操作中,为了使机器学习有更好的效果,人们不得不将大量原始数据送入模型中训练,这使得一些敏感数据被恶意的攻击者窃取 ...
联邦学习综述 三大研究方向:联邦优化算法、通信开销和隐私保护。 联邦优化算法:非独立同分布且不平衡的隐私性数据,数据集分布在不同的客户端上且不可以直接获取,客户端本身特征导致数据非独立同分布性。客户数量的分布,在联邦优化算法中可能需要面对成千上百的客户端参与。 通信效率:在实际 ...
论文[1]在联邦学习的情景下引入了多任务学习,其采用的手段是使每个client/task节点的训练数据分布不同,从而使各任务节点学习到不同的模型,且每个任务节点以及全局(global)的模型都由多个分量模型集成。该论文最关键与核心的地方在于将各任务节点学习到的模型进行聚合/通信,依据模型聚合方式 ...
1 导引 联邦学习做为一种特殊的分布式机器学习,仍然面临着分布式机器学习中存在的问题,那就是设计分布式的优化算法。 以分布式机器学习中常采用的client-server架构(同步)为例,我们常常会将各client节点计算好的局部梯度收集到server节点进行求和,然后再根据这个总梯度进行权重 ...
在上一篇博文《联邦学习中的模型聚合》中,我们关注了在联邦学习中模型聚合(参数通信)的问题,但是对每一个client具体的模型架构设计和参数优化方法还没有讨论。本篇文章我们关注具体模型结构设计和参数优化。 首先,在我follow的这篇篇论文[1]中(代码参见[2])不同的client有一个集成模型 ...
视频:链接 介绍 联邦学习是一种不需要收集各数据拥有方所有的数据,便能协作地训练一个模型的机器学习过程 旨在建立一个基于分散数据集的联邦机器学习模型。在模型训练过程中,隐私数据不离开本地,各方仅交换模型相关的信息或加密的数据,已训练好的联邦学习模型可以置于联邦学习系统的各参与方,也可以在多方 ...
联邦学习(Federated Learning) from: https://blog.csdn.net/cao812755156/article/details/89598410 联邦学习 ...
...