【文章推薦】NeurIPS 2017 | QSGD: Communication-Efficient SGD via Gradient Quantization and Encoding

原文：NeurIPS 2017 | QSGD: Communication-Efficient SGD via Gradient Quantization and Encoding

由於良好的可擴展性，隨機梯度下降 SGD 的並行實現是最近研究的熱點。實現並行化SGD的關鍵障礙就是節點間梯度更新時的高帶寬開銷。因此，研究者們提出了一些啟發式的梯度壓縮方法，使得節點間只傳輸壓縮后的梯度。盡管這些啟發式方法在實踐中很有效，但它們有時並不會收斂。本文提出了量化SGD Quantization SGD，QSGD ，它是一類具有收斂保證且在實踐中性能良好的壓縮模式。QSGD允許用戶平 ...

2020-03-24 19:08 1 1283 推薦指數：

查看詳情

【論文考古】量化SGD QSGD: Communication-Efficient SGD via Gradient Quantization and Encoding

D. Alistarh, D. Grubic, J. Li, R. Tomioka, and M. Vojnovic, “QSGD: Communication-Efficient SGD via Gradient Quantization and Encoding,” Advances ...

Communication-Efficient Learning of Deep Networks from Decentralized Data

鄭重聲明：原文參見標題，如有侵權，請聯系作者，將會撤銷發布！ Proceedings of the 20th International Conference on Artificial Intelligence and Statistics (AISTATS) 2017, Fort ...

聯邦學習論文研究（FedBoost: Communication-Efficient Algorithms for Federated Learning）

主要內容：　　不同於梯度壓縮和模型壓縮，FedBoost集成學習算法，能夠降低服務器到客戶端　　和客戶端到服務器的通信成本，提高通信效率。集成學習：集成學習(ensemble lea ...

【論文考古】聯邦學習開山之作 Communication-Efficient Learning of Deep Networks from Decentralized Data

B. McMahan, E. Moore, D. Ramage, S. Hampson, and B. A. y Arcas, “Communication-Efficient Learning of Deep Networks from Decentralized Data ...

Quantization aware training 量化背后的技術——Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference

1，概述　　模型量化屬於模型壓縮的范疇，模型壓縮的目的旨在降低模型的內存大小，加速模型的推斷速度（除了壓縮之外，一些模型推斷框架也可以通過內存，io，計算等優化來加速推斷）。　　常見的模型壓縮 ...

ICLR 2018 | Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training

為了降低大規模分布式訓練時的通信開銷，作者提出了一種名為深度梯度壓縮(Deep Gradient Compression, DGC)的方法。DGC通過稀疏化技術，在每次迭代時只選擇發送一部分比較“重要”的梯度元素，以達到降低整個訓練過程通信量的目的。為了保證使用DGC后模型的精度，作者還使用了幾種 ...

MLHPC 2016 | Communication Quantization for Data-parallel Training of Deep Neural Networks

本文主要研究HPC上進行數據並行訓練的可行性。作者首先在HPC上實現了兩種通信量化算法（1 Bit SGD以及閾值量化），然后提出了自適應量化算法以解決它們的缺點。此外，發揮出量化算法的性能，作者還自己實現了一個Allreduce算法。 1 Bit SGD可以實現良好的重構和較低的誤差，但與閾值 ...

邏輯回歸：使用SGD(Stochastic Gradient Descent)進行大規模機器學習

Mahout學習算法訓練模型 mahout提供了許多分類算法，但許多被設計來處理非常大的數據集，因此可能會有點麻煩。另一方面，有些很容易上手，因為，雖然依然可擴展性，它們具有低開銷小的數據集。這樣一個低開銷的方法是隨機梯度下降（SGD）算法，Logistic回歸。該算 ...

原文：NeurIPS 2017 | QSGD: Communication-Efficient SGD via Gradient Quantization and Encoding

相關推薦

相關標簽