1、openmi 下载安装 　　下载连接： 　　　　https://download.open-mpi.org/release/open-mpi/v4.0/openmpi-4.0.1.tar.gz ...

　　最近一直在尝试着分布式深度学习的架构，主要的原因一方面是几台机子全是1060卡，利用深度网络在较大数据样本上训练的效率极其低下，所以尝试着将几台机子做成分布式，看看能否提高训练效率；第二方面是有人 ...

不同的Pytorch需要安装不同版本的horovod，否则horovod安装失败的时候提示的错误信息你都不知道到底是什么原因。。 我自己实测了几个版本，记录如下： Pytorch Horovd 1.7.1+cu101 ...