分布式训练问题
1、更换Tensorflow版本后，horovodrun有问题，说没有安装MPI或Gloo。解决：按步骤全部重新安装一遍。理解：不知道Horovod到tensorflow有什么依赖关系。可能也和版本有 ...
花费 20 ms
CUDA编程入门极简教程（转）
前言 2006年，NVIDIA公司发布了CUDA，CUDA是建立在NVIDIA的CPUs上的一个通用并行计算平台和编程模型，基于CUDA编程可以利用GPUs的并行计算引擎来更加高效地解决比较复杂的计 ...
linux 配置cuda、cudnn环境
1、安装cuda https://developer.nvidia.com/zh-cn/cuda-toolkit 以11.2为例，选择版本后，进行下载安装： 然后配 ...
NCCL常用环境变量
Table 1. Knobs available for modification in NCCL Environment Variable ...