pytorch
pytorch定位：深度學習框架
- 人工智能：多領域交叉科學技術
- 機器學習：計算機智能決策算法
- 深度學習：高效的機器學習算法
pytorch實現模型訓練需要5個模塊
- 數據
- 將數據從硬盤讀進內存
- 組織數據進行訓練，圖片預處理以及數據增強
- 裁剪、縮放、翻轉
- 模型
- 構建模型模塊，組織復雜網絡
- 初始化網絡參數，定義網絡層
- 損失函數
- 創建損失函數，設置損失函數超參數
- 選擇損失函數（18個），回歸、分類
- 優化器
- 管理模型參數去更新模型參數
- 在進行遷移學習的過程中，希望一部分網絡模型的參數大一些，有一部分小一些，因此，根據曲線變化情況來調整學習率，需要管理多個參數組實現不同學習率
- 調整學習率
- 迭代訓練
- 觀察訓練效果，是否收斂，是否停止，繪制Loss/Accuray曲線
- 使用TensorBoard分析
- 模型應用
- 圖像分類，圖像分割，目標檢測
- 對抗生成，循環網絡
學習路線
Step1. Pytorch基礎：環境安裝、Tensor、Autograd（自動求導）、計算圖（動態圖、靜態圖）
Step2. Pytorch核心：
- 數據模塊：Dataloader,Dataset,Transform
- 模型模塊：Module
LossFunction,Optimizer損失函數和優化器來優化模型
TensorBoard可視化 - 深度學習模型：應用，圖像分類、分割、目標檢測
第一周
python工具包：內置包：os,sys,glob,re,math
第三方包:pytorch,tnsorflow,numpy
存放地址
本地磁盤:ProgramData/Anaconda3/envs/pytorch_cpu/Lib
其中，pytorch_cpu是虛擬環境名，Lib是工具包所在文件夾
python環境包括解釋器和工具包，不同的項目需要不同的python環境
比如：
虛擬環境1. 解釋器為python.exe(python2.7),工具包為pytoch=0.4.0,numpy=1.17.0
虛擬環境2. 解釋器為python.exe(python2.7),工具包為pytoch=1.1.0,numpy=1.17.0
如何進行管理，此時就需要Anaconda進行管理。
Anaconda安裝
安裝步驟：
-
官網下載安裝包 https://www.anaconda.com/products/individual
時間為2020/12/11的地址 -
運行下載的Python 3.8
-
選擇路徑，勾選Add Anaconda to the system PATH environment variable,等待安裝完成
-
驗證安裝完成，打開cmd，輸入conda，回車（如果出現很長的信息就表示安裝成功）
-
添加中科大鏡像
Pycharm安裝
安裝步驟：
- 官網下載安裝包：https://www.jetbrains.com/pycharm/download/#section=windows
- 運行下載的exe文件
- 選擇路徑，勾選Add launchers dir to the PATH,等待安裝完成
PyTorch安裝
安裝步驟：
- 檢查是否有合適GPU，若有，需安裝CUDA與CuDNN
- CUDA與CuDNN安裝（非必須）
- 下載whl文件，登錄
CUDA安裝
安裝步驟：
去CUDA官網官網選擇合適的版本下載安裝即可。下面只贅述驗證CUDA是否安裝成功：
將cuda的路徑復制，打開cmd。筆者這里是
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\bin
打開命令行cmd
進入到當前目錄下
cd C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\bin
執行nvcc -V指令
即可驗證是否正確安裝，如果正確安裝就會顯示版本。
CUDNN安裝
安裝步驟：
去CUDNN官網下載即可。將下載壓縮包解壓，前三個文件夾復制粘貼至CUDA的目錄下（cuda\bin的上一目錄）
驗證是否安裝成功：
進入到cuda中extras的demo_suite目錄，同樣在cmd命令行中進入
cd C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\extras\demo_suite
緊接着執行兩個程序bandwidthTest.exe,deviceQuery.exe
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\extras\demo_suite>bandwidthTest.exe
如果顯示的Result = PASS，則顯示CUDNN安裝成功
接下來再查看設備
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\extras\demo_suite>deviceQuery.exe
會顯示GPU型號同時Result=PASS即表示cuda和cudnn安裝成功。
Pytorch的安裝
首先進入官網，獲得安裝的command代碼，command中包含了網址，建議通過網址進行下載，這樣速度比較快。例如筆者進行下載的是pip install torch===1.7.1+cu110 torchvision===0.8.2+cu110 torchaudio===0.7.2 -f https://download.pytorch.org/whl/torch_stable.html是通過pip進行安裝，那筆者訪問https://download.pytorch.org/whl/torch_stable.html進行下載。下載時候ctrl+f進行搜索對應的版本。接下來打開pycharm，創建一個項目。
在底部的terminal欄中用conda創建一個虛擬環境，conda create -n pytorch_gpu python=3.7
緊接着采用conda activate pytorch_gpu激活虛擬環境，進入剛剛下載的目錄。
再使用 pip install "torch-1.7.1+cu110-cp38-cp38-win_amd64.whl"
此時顯示Successfully installed numpy-1.19.4 torch-1.7.1+cu110 typing-extensions-3.7.4.3
此時設置setting，將project Interpreter添加pytorch_gpu的環境。
此時輸入
import torch
print("hello pytorch {}".format(torch.__version__))
會顯示
hello pytorch 1.7.1+cu110
Process finished with exit code 0
至此全部安裝成功。
也許會出現ImportError: numpy.core.multiarray failed to import，是因為numpy的版本不對，如果你的對應Python是3.8的，但是他默認安裝1.9太高了，需要把Numpy卸載重新安裝。