论文[1]在联邦学习的情景下引入了多任务学习，其采用的手段是使每个client/task节点的训练数据分布不同，从而使各任务节点学习到不同的模型，且每个任务节点以及全局(global)的模型都由多个分 ...

1 导引 联邦学习做为一种特殊的分布式机器学习，仍然面临着分布式机器学习中存在的问题，那就是设计分布式的优化算法。 以分布式机器学习中常采用的client-server架构（同步）为例，我们常常会 ...

1 分布式机器学习、联邦学习、多智能体介绍 最近这三个方面的论文都读过，这里写一篇博客归纳一下，以方便搞这几个领域的其他童鞋入门。我们先来介绍以下这三种机器学习范式的基本概念。 1.1 分布式机器 ...

今天开始跑联邦学习论文实验了，这里介绍一下论文的常用benchmark数据集（因为我的研究领域是联邦/分布式学习，所以下面列出的数据集可能偏向这方面，做其他方向的童鞋参考下就好）。 1. CV数据集 ...

1 代理损失函数——一种并行化拆解技巧 我们在本系列第一篇文章《分布式多任务学习论文阅读（一）多任务学习速览》(链接：https://www.cnblogs.com/orion-orion/p/15 ...

1 导引 现在多任务学习根据数据的收集方式可以粗略地被分为两种，一个是集中化的计算方法，即假定数据被事先收集到一个中心节点上然后再运行模型， 大多数基于神经网络的多任务学习应用，比如CV和NLP，主 ...

1 论文总结归纳 做为最后一篇分布式多任务学习的论文阅读记录，我决定对我目前为止粗读和精读的论文进行一次总结，然后陈述一些个人对该研究领域的见解和想法。 目前已经有许多论文对多任务学习提出了分布式 ...

在上一篇博文《联邦学习中的模型聚合》中，我们关注了在联邦学习中模型聚合(参数通信)的问题，但是对每一个client具体的模型架构设计和参数优化方法还没有讨论。本篇文章我们关注具体模型结构设计和参数优化 ...

1 分布式多任务学习（Multi-task Learning， MTL）简介 我们在上一篇文章《基于正则表示的多任务学习》中提到，实现多任务学习的一种传统的（非神经网络的）方法为增加一个正则项[1] ...