環境:
ubuntu18
anaconda
創建一個新的環境
conda create -n env_name python=version
激活並進入環境中
conda activate env_name
pip更改清華源(https://mirrors.tuna.tsinghua.edu.cn/help/pypi/)
conda更換清華源,這個似乎更新的慢一些?(https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/)
conda list 看有沒有cuda，cudnn，沒有的話下面再裝（conda install cudatoolkit conda install cudnn）最好自己指定下版本號 (發文時是10.1 和7.6)
安裝pytorch
pip install torch torchvision
然后將pytorch 添加到jupyter notebook中(要在對應的環境下操作)
install ipykernel
python -m ipykernel install --user --name pytorch --display-name "Python (pytorch)"
查看列表jupyter kernelspec list
刪除指定kernel：jupyter kernelspec remove icsharpkernel
某出品的教程
https://tangshusen.me/Dive-into-DL-PyTorch/#/
寫個小程序測試一下
pytorch優化技巧
1.預處理時間長用Nvidia DALI：https://github.com/NVIDIA/DALI
原理：將原本cpu上的數據預處理步驟放到gpu上並行提速。
2.讀取數據的io時間長用prefetch：https://pypi.org/project/prefetch_generator/
原理：在網絡訓練的同時從硬盤加載下一批數據。
3.訓練時間長用apex：https://github.com/NVIDIA/apex
原理：fp16混合精度訓練減少顯存(增大batch size)