为了降低大规模分布式训练时的通信开销，作者提出了一种名为深度梯度压缩 Deep Gradient Compression, DGC 的方法。DGC通过稀疏化技术，在每次迭代时只选择发送一部分比较 重要 的梯度元素，以达到降低整个训练过程通信量的目的。为了保证使用DGC后模型的精度，作者还使用了几种花里胡哨的技术，包括动量修正 momentum correction 本地梯度裁剪 local gra ...
2020-05-24 18:33 0 1221 推荐指数：
ICML, 2015 S. Ioffe and C. Szegedy 解决什么问题（What） 分布不一致导致训练慢：每一层的分布会受到前层的影响，当前层分布发生变化时，后层网络需要去适应这 ...
说实话，这篇paper看了很久，，到现在对里面的一些东西还不是很好的理解。 下面是我的理解，当同行看到的话，留言交流交流啊！！！！！ 这篇文章的中心点：围绕着如何降低 internal c ...
这篇经典论文，甚至可以说是2015年最牛的一篇论文，早就有很多人解读，不需要自己着摸，但是看了论文原文Batch normalization: Accelerating deep network training by reducing internal covariate shift 和下面 ...
本文主要研究HPC上进行数据并行训练的可行性。作者首先在HPC上实现了两种通信量化算法（1 Bit SGD以及阈值量化），然后提出了自适应量化算法以解决它们的缺点。此外，发挥出量化算法的性能，作者还自 ...
2016ICLR最佳论文 Deep Compression: Compression Deep Neural Networks With Pruning, Trained Quantization And Huffman Codin 主要针对神经网络模型巨大，在嵌入式机器中比较难运行的问题 ...
摘要 我们描述了一种图像压缩方法，包括非线性分析变换，均匀量化器和非线性合成变换。变换是在卷积线性滤波器和非线性激活函数的三个连续阶段中构建的。与大多数卷积神经网络不同，选择联合非线性来实现局部增益 ...
本文作者为：Xavier Glorot与Yoshua Bengio。 本文干了点什么呢？ 第一步：探索了不同的激活函数对网络的影响（包括：sigmoid函数，双曲正切函数和softsign y = ...
论文地址：https://arxiv.org/abs/1710.10903 代码地址： https://github.com/PetarV-/GAT 我并没有完整看过这篇论文，但是在大致了解其原理 ...
