使用GPU
其實如果沒有錢買GPU的話，使用Google Colab也是一個不錯的選擇，大概是10 dollar一個月。
算力其實是很貴的... 利用好算力是一件很重要的事情！
關於Nvidia Driver too old的問題，如果是服務器的話，這里不要盲目的去更新顯卡驅動，這樣子會把別人的環境搞壞的。
正確的方式應該是去安裝適合自己驅動的版本的框架。
# 下面命令來確認cuda的版本，然后在進行相應cuda的下載
cat /usr/local/cuda/version.txt
使用GPU是簡單的，只要把權重copy到GPU上，在把輸入copy到GPU上，就可以在GPU上進行運算了。
購買GPU
GPU的性能主要由以下3個參數構成：
-
計算能力。通常我們關心的是32位浮點計算能力。16位浮點訓練也開始流行，如果只做預測的話也可以用8位整數。
-
顯存大小。當模型越大或者訓練時的批量越大時，所需要的顯存就越多。
-
顯存帶寬。只有當顯存帶寬足夠時才能充分發揮計算能力。
當然只推薦消費類的GPU（GTX、RTX），對於企業類的GPU這是不推薦的，一般會貴5~6倍。
顯卡盡量要買新的，因為工藝在進步，新一代對比舊一代，同樣的計算性能，價格會便宜。（電子設備都是如此，買新不買舊）
整機配置
通常，我們主要用GPU做深度學習訓練。因此，不需要購買高端的CPU。至於整機配置，盡量參考網上推薦的中高檔的配置就好。不過，考慮到GPU的功耗、散熱和體積，在整機配置上也需要考慮以下3個額外因素：
- 機箱體積。顯卡尺寸較大，通常考慮較大且自帶風扇的機箱。
- 電源。購買GPU時需要查一下GPU的功耗，如50 W到300 W不等。購買電源要確保功率足夠，且不會造成機房供電過載。
- 主板的PCIe卡槽。推薦使用PCIe 3.0 16x來保證充足的GPU到內存的帶寬。如果搭載多塊GPU，要仔細閱讀主板說明，以確保多塊GPU一起使用時仍然是16倍帶寬。注意，有些主板搭載4塊GPU時會降到8倍甚至4倍帶寬。
QA
- 如果買GPU的話，顯存是越大越好嗎？還有什么評價指標嗎？
當然是越大越好，但是顯存是一個很貴的事情，顯存比CPU的內存貴。
GPU的顯存是越大越好的，但是越大越貴，所以你要在你的承受范圍能力買。
后面會講解CPU和GPU的工作原理的不同，也就是為什么說GPU顯存越大越好。
- 跑項目的時候顯存不夠怎么辦，如果把batch_size調小，顯存夠用了但是cuda占用一直很低怎么辦？
如果是顯存不夠用的話，那么只有把batch_size給調小。
但是如果把batch_size調小的話，那么Volatile GPU-Util（GPU計算單元的利用率）不高。
那么這里給的建議就是把模型給調小一點，比如如果是使用ResNet152的話，這里就建議修改成ResNet50。
- GPU使用率是不是越高越好，長時間滿負荷是不是對顯卡不太好？
滿負荷對GPU是沒有問題的，唯一的問題是溫度不要過熱！最好建議就是不要超過80度，90度太久。
沐神說他是燒過很多塊卡的... 滿負荷是沒有問題的，但是就是要注意溫度！溫度是一個很重要的事情。
- 一般使用gpu訓練，data在哪一步to gpu比較好？
一般是在最后network train的時候。
因為很多數據的變化，做data preprocess在GPU上不一定支持的比較好，如果data在GPU上做的比較好，那么可以往前走，比如很多時候在GPU上做一些圖片的處理。
- tensor.cuda() 和 to(device)有什么區別？
都是將tensor挪到GPU上，但是to(device)是講module，也就是模型挪到GPU上。
- 使用GPU后加速效果不明顯有哪些可能的原因？運行GPU使用率在60%~70%。
其實60~70%的使用頻率已經不低了，看看能不能優化下網絡。
對於CNN的話，GPU的使用率很容易到80%以上。
- 怎么評價apple M1 gpu和cpu共用內存？
集成顯卡基本都是個cpu共用內存的，而且共不共用內存不是關鍵，而是要看內存的帶寬，其實M1的內存帶寬還行。
- cuda和GPU到底是什么關系？
GPU是硬件，cuda可以認為是開發的一個SDK。
- 自定義的block被放在同一個Sequential內的不同layer，但是不想共享參數，該怎么做？
只要new新的對象就可以了，傳入的也是對象，如果不是同一個對象，默認是不會共享參數的。