为了降低大规模分布式训练时的通信开销，作者提出了一种名为深度梯度压缩(Deep Gradient Compression, DGC)的方法。DGC通过稀疏化技术，在每次迭代时只选择发送一部分比较“重要 ...

由于良好的可扩展性，随机梯度下降（SGD）的并行实现是最近研究的热点。实现并行化SGD的关键障碍就是节点间梯度更新时的高带宽开销。因此，研究者们提出了一些启发式的梯度压缩方法，使得节点间只传输压缩后的 ...

本文主要研究HPC上进行数据并行训练的可行性。作者首先在HPC上实现了两种通信量化算法（1 Bit SGD以及阈值量化），然后提出了自适应量化算法以解决它们的缺点。此外，发挥出量化算法的性能，作者还自 ...