1. torch.backends.cudnn.deterministic = True 固定cuda的隨機數種子，但是卻有一個問題，在pytorch 1.5下加入這一行命令后，dilated Conv的計算速度會變慢數十倍，問題應該出在cudnn上，但是我也不知道到底是什么原因，github上有相關issue，見https://github.com/pytorch/pytorch/issues/28777
2. 在代碼前加設torch.backends.cudnn.benchmark = True可以提升訓練速度，注意，這只在訓練過程中計算圖是不變的情況下有效