Horovod 通信策略

因為最近的工作要和Horovod打交道，所以分析了Horovod的源碼。在這里記一筆。 Horovod有幾個亮點，第一，它不依托於某個框架，自己通過MPI建立了一套分布式系統，完成了allreduc ...

Horovod

Horovod是一個支持TensorFlow、Keras、PyTorch和Apache MXNet的分布式訓練框架。Horovod的目標是讓分布式深度學習更快更易用。 為啥不用原生的TensorF ...

Horovod 分布式深度學習框架相關

最近需要 Horovod 相關的知識，在這里記錄一下，進行備忘： 分布式訓練，分為數據並行和模型並行兩種； 模型並行：分布式系統中的不同GPU負責網絡模型的不同部分。神經網絡模型的不同網絡 ...