联邦学习主要用于解决小数据及数据孤岛问题。谷歌在2016年提出了针对手机终端的联邦学习，微众银行AI团队则从金融行业实践出发，关注跨机构跨组织的大数据合作场景，首次提出“联邦迁移学习”的解决方案，将迁移学习和联邦学习结合起来。
（数据孤岛：数据间缺乏关联性，数据库彼此无法兼容。专业人士把数据孤岛分为物理性和逻辑性两种。物理性的数据孤岛指的是，数据在不同部门相互独立存储，独立维护，彼此间相互孤立，形成了物理上的孤岛。逻辑性的数据孤岛指的是，不同部门站在自己的角度对数据进行理解和定义，使得一些相同的数据被赋予了不同的含义，无形中加大了跨部门数据合作的沟通成本。）
联邦学习有三大构成要素：数据源、联邦学习系统、用户。
联邦学习的分类
根据参与各方数据源分布的情况不同，联邦学习可以被分为三类：横向联邦学习、纵向联邦学习、联邦迁移学习。
横向联邦学习：在两个数据集的用户特征重叠较多而用户重叠较少的情况下，我们把数据集按照横向(即用户维度)切分，并取出双方用户特征相同而用户不完全相同的那部分数据进行训练。比如业务相同但是分布在不同地区的两家企业，它们的用户群体分别来自各自所在的地区，相互的交集很小。但是，它们的业务很相似，因此，记录的用户特征是相同的。
纵向联邦学习：在两个数据集的用户重叠较多而用户特征重叠较少的情况下，我们把数据集按照纵向（即特征维度）切分，并取出双方用户相同而用户特征不完全相同的那部分数据进行训练。比如有两个不同机构，一家是某地的银行，另一家是同一个地方的电商。它们的用户群体很有可能包含该地的大部分居民，因此用户的交集较大。但是，由于银行记录的都是用户的收支行为与信用评级，而电商则保有用户的浏览与购买历史，因此它们的用户特征交集较小
联邦迁移学习：在两个数据集的用户与用户特征重叠都较少的情况下，我们不对数据进行切分，而可以利用迁移学习来克服数据或标签不足的情况。这种方法叫做联邦迁移学习。
联邦学习的过程分为自治和联合两部分。
自治的部分：首先，两个或两个以上的的参与方们在各自终端安装初始化的模型，每个参与方拥有相同的模型，之后参与方们可以使用当地的数据训练模型。由于参与方们拥有不同的数据，最终终端所训练的模型也拥有不同的模型参数。
联合的部分：不同的模型参数将同时上传到云端，云端将完成模型参数的聚合与更新，并且将更新好的参数返回到参与方的终端，各个终端开始下一次的迭代。以上的程序会一直重复，直到整个训练过程的收敛。
第一部分：加密样本对齐。
由于两家企业的用户群体并非完全重合，系统基于加密的用户样本对齐技术（如RSA），在A和B不公开各自数据的前提下确认双方的共有用户，并且不暴露不互相重叠的用户。以便联合这些用户的特征进行建模。
第二部分：加密模型训练。
在确定共有用户群体后，就可以利用这些数据训练机器学习模型。为了保证训练过程中数据的保密性，有时需要借助第三方协作者C进行加密训练。以线性回归模型为例，训练过程可分为以下 4 步：
第①步：协作者C把公钥分发给A和B，用以对训练过程中需要交换的数据进行加密；
第②步：A和B之间以加密形式交互用于计算梯度的中间结果；
第③步：A和B分别基于加密的梯度值进行计算，同时 B 根据其标签数据计算损失，并把这些结果汇总给C。 C 通过汇总结果计算总梯度并将其解密；
第④步： C将解密后的梯度分别回传给A和B； A和B根据梯度更新各自模型的参数。
迭代上述步骤直至损失函数收敛，这样就完成了整个训练过程。在样本对齐及模型训练过程中，A和B各自的数据均保留在本地，且训练中的数据交互也不会导致数据隐私泄露。因此，双方在联邦学习的帮助下得以实现合作训练模型。
第三部分：效果激励。
联邦学习的一大特点就是它解决了为什么不同机构要加入联邦共同建模的问题，即建立模型以后模型的效果会在实际应用中表现出来，并记录在永久数据记录机制（如区块链）上。提供的数据多的机构会看到模型的效果也更好，这体现在对自己机构的贡献和对他人的贡献。这些模型对他人效果在联邦机制上以分给各个机构反馈，并继续激励更多机构加入这一数据联邦。
链接：https://www.jianshu.com/p/078ec3ce3076
来源：简书