主機回來以及,簡單的環境配置(RTX3070+CUDA11.1+CUDNN+TensorRT)


緊接着前幾天的事:

之后,決定買一台整機玩玩。

而現在,主機終於回!來!了!主機回來干什么,當然是——配置環境。

老潘之前也有一些配置環境的文章,可以參考:

-_-|| 沒想到那會寫了這么多配置環境的文章,可能那會遇到的問題比較多吧...配環境什么的,其實只要嚴格按照步驟來一步一步配,基本上不會出現什么問題,出現問題一般都是我們某一步沒有走對,而退回去再走比較麻煩而已。

而現在對於配環境來說可以是輕車熟路了(前幾年不知道踩了多少坑,到現在都印象深刻),嚴格按照步驟來,安裝Ubuntu和配置深度學習環境,1個小時多就搞定了。

你懂得

接下來略微詳細地講一下過程。

  • Windows下安裝Ubuntu-18.04
  • 配置深度學習環境(Cuda+Cudnn+Pytorch+TensorRT)

主機長這樣

先放一組圖吧。

主機正面

躺下的主機

微星魔龍RTX3070正面

背部引線以及電源

插上顯卡的主機

晚上開機長這樣

晚上開機還挺炫的,但其實對於老潘來說炫不炫不重要,性能好就行...

主機配環境

主機回來店家只給我裝了Windows系統,對於老潘來說,打游戲是次要的(哈哈哈哈...),忍住了先下載一個鬼泣5玩玩的想法。先從Ubuntu官方下載了官方的鏡像包。

官方最新的Ubuntu是20.10,但對於搞事的人來說,還是18.04版本好一些(之前實驗室用的是16.04)。

還是下載穩定版的吧

開始配置雙系統,雙系統是必須的,Ubuntu可以搞深度學習,也可以當服務器使,Windows則可以應付一些游戲和其他應急應用。

關於如何將下載好的Ubuntu系統鏡像制作成U盤、如何安裝,老潘這里不贅述了。可以看以下這篇文章,介紹的很詳細,我就是按照這個嚴格來執行的:

當然如果有問題歡迎交流,直接留言即可~

安裝過程

雖然不贅述了,但還是簡單過一下:

進入BIOS,選擇Ubuntu啟動U盤,然后開始安裝Ubuntu:

其他一路點點點,然后簡單分個區。

ubuntu分區

然后開始安裝...

安裝ubuntu

等待半小時,裝好了!

設置SSH

為什么要設置ssh,當然是想讓這個Ubuntu充當一個服務器的作用,開啟之后可以使用ssh登錄去操作。

例如我,可以先把服務器開了,然后使用其他電腦,例如MAC,使用局域網通過SSH連接這個服務器即可。

怎么開啟ssh呢?新的Ubuntu系統還沒有安裝SSH。

執行以下命令:

sudo apt install openssh-server
sudo systemctl start ssh.service

然后可以通過netstat -lnp | grep 22查看下開啟沒。

如果想要每次啟動自動開啟SSH,可以這樣:

sudo systemctl enable ssh

這樣就差不多啦。

安裝NVIDIA顯卡驅動

默認Ubuntu安裝的是llvmpipe這個顯卡驅動,這個是linux下的公用顯卡驅動,現在需要換成NVIDIA的。

首先禁用nouveau

執行sudo gedit /etc/modprobe.d/blacklist.conf

加上以下這兩句:

blacklist nouveau
options nouveau modest=0

禁用noueavu

保存后,然后執行:

sudo updata-initramfs -u
sudo reboot

重啟后,Ctrl+Alt+F1切換到tty界面,關閉lightdm(如果沒有則不用管):

sudo service lightdm stop

然后更新一下apt源以及看一下系統推薦的NVIDIA驅動版本:

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get update
ubuntu-drivers devices

根據推薦的驅動版本,安裝NVIDIA驅動:

sudo apt-get install nvidia-driver-460

如果嫌慢,可以添加阿里或者清華源:

sudo cp /etc/apt/sources.list /etc/apt/sources.list.bcakup
sudo gedit /etc/apt/sources.list

備份之后打開文件,添加以下源即可:

# 阿里雲源
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
##測試版源
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
# 源碼
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
##測試版源
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse


# 清華大學源
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
##測試版源
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse
# 源碼
deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
##測試版源
deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse

別忘了添加之后,進行更新二連:

sudo apt-get update
sudo apt-get upgrade

這樣就可以順利的安裝NVIDIA驅動了。

然后下載好以下三個深度學習伴侶

cuda+TensorRT環境包

開始安裝吧!

安裝Cuda、Cudnn

Cuda當然是必須要裝的。

找到下載好的11.1cuda環境包(現在出來11.2了),然后執行:

sudo sh cuda_11.1.0_455.23.05_linux.run

會出來一堆blabla的選項:

  • 1、確保你環境里頭是否有舊的cuda,有的話建議刪除
  • 2、同意條款..
  • 3、確認是否要安裝驅動、安裝demo...以及安裝位置確定
  • 4、開始安裝ing

對於老潘來說,上一步中已經安裝了cuda驅動,不需要再裝舊版的(新版驅動兼容舊版驅動匹配的cuda),所以這里就把驅動選項去掉,其他的安裝按照我的需求按部就班來就好。

cuda安裝選項

注意
如果你沒有root權限,無法使用sudo,想要安裝cuda也是可以的。只要自定義好安裝位置即可,運行如下命令即可將cuda安裝到當前home下的software文件夾內:

./cuda_11.1.0_455.23.05_linux.run --silent --toolkit --toolkitpath=$HOME/software/cuda --defaultroot=$HOME/software/cuda

不論咋樣安裝好之后會顯示:

安裝好cuda的顯示

按照上面的要求配置環境變量即可:

(base) oldpan@oldpan-fun:~/software$ vim ~/.bashrc  

將
export PATH=/usr/local/cuda-11.1/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.1/lib64:$LD_LIBRARY_PATH
添加到打開的文件中

(base) oldpan@oldpan-fun:~/software$ source ~/.bashrc
(base) oldpan@oldpan-fun:~/software$ nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2020 NVIDIA Corporation
Built on Tue_Sep_15_19:10:02_PDT_2020
Cuda compilation tools, release 11.1, V11.1.74
Build cuda_11.1.TC455_06.29069683_0

Cudnn

cudnn的安裝就比較簡單了,解決壓縮包然后復制粘貼就行:

tar -xzvf cudnn-11.2-linux-x64-v8.1.1.33.tgz
sudo cp cuda/include/cudnn.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn.h

安裝Anaconda

安裝Anaconda也很簡單,從這里下載好(不想下的看老潘整理文末的軟件包):

然后sh Anaconda3-2020.11-Linux-x86_64.sh就行。

安裝好之后,配置conda以及pip清華源,參考以下文字即可:

安裝Pytorch

安裝Pytorch就比較簡單了,如果不想自己編譯,直接從官方按照你的Cuda版本和Cudnn版本安裝即可:

https://download.pytorch.org/whl/torch_stable.html

安裝好Pytorch之后,測試一下cuda是否工作正常:

>>> import torch
>>> torch.cuda.is_available()
True
>>> torch.ones(1).cuda()
tensor([1.], device='cuda:0')
>>> torch.cudnn_is_acceptable(torch.ones(1).cuda())
True

OK~

TensorRT

TensorRT單獨發一篇文章來說吧~

一些資源

配環境需要很多軟件包,例如:

  • Anaconda
  • Pytorch.whl
  • TensorRT
  • CUDA
  • CUDNN

有些可以在清華大學開源軟件鏡像站下載,但是TensorRT和CUDA、CUDNN需要從官方下而且需要注冊而且很慢。

老潘整理了一些已經下載好的軟件包。

公眾號內回復015獲取,可以看看有沒有你需要的:

軟件包

想寫的還有很多,下篇再講(呼呼)。

如果有問題歡迎留言,歡迎關注「oldpan博客」公眾號,老潘的全部家當都在這里了。很願意與你交朋友~

參考

https://www.cnblogs.com/masbay/p/10745170.html
https://blog.csdn.net/ZPeng_CSDN/article/details/96726436

撩我吧

  • 如果你與我志同道合於此,老潘很願意與你交流;
  • 如果你喜歡老潘的內容,歡迎關注和支持。
  • 如果你喜歡我的文章,希望點贊👍 收藏 📁 評論 💬 三連一下~

想知道老潘是如何學習踩坑的,想與我交流問題~請關注公眾號「oldpan博客」。
老潘也會整理一些自己的私藏,希望能幫助到大家,點擊神秘傳送門獲取。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM