1. torch.backends.cudnn.deterministic = True 固定cuda的随机数种子，但是却有一个问题，在pytorch 1.5下加入这一行命令后，dilated Conv的计算速度会变慢数十倍，问题应该出在cudnn上，但是我也不知道到底是什么原因，github上有相关issue，见https://github.com/pytorch/pytorch/issues/28777
2. 在代码前加设torch.backends.cudnn.benchmark = True可以提升训练速度，注意，这只在训练过程中计算图是不变的情况下有效