因为最近的工作要和Horovod打交道，所以分析了Horovod的源码。在这里记一笔。 Horovod有几个亮点，第一，它不依托于某个框架，自己通过MPI建立了一套分布式系统，完成了allreduc ...

Horovod是一个支持TensorFlow、Keras、PyTorch和Apache MXNet的分布式训练框架。Horovod的目标是让分布式深度学习更快更易用。 为啥不用原生的TensorF ...

最近需要 Horovod 相关的知识，在这里记录一下，进行备忘： 分布式训练，分为数据并行和模型并行两种； 模型并行：分布式系统中的不同GPU负责网络模型的不同部分。神经网络模型的不同网络 ...