阿里雲GPU服務器配置深度學習環境-遠程訪問-centos,cuda,cudnn,tensorflow,keras,jupyter notebook


一、准備工作:

1、阿里雲相關設置:

先給阿里雲賬戶充值100元。

選擇阿里雲ECS雲服務器

 

 

搜索:CentOS 7.3(預裝NVIDIA GPU驅動和深度學習框架)

 

 

 

安全組添加8888權限

8888/8888

0.0.0.0/0

 

2、軟件相關設置:

1)、使用putty工具鏈接linux服務器

小字體看的眼暈的話,這里可以改字體,16-18號看起來就可以很舒服了

這里是坑,絕對不要填0,保持激活狀態

 

回到這里,雙擊剛才保存好的鏈接信息

 

PS:putty終端操作linux鼠標右鍵是粘貼功能。

 

(2)、Winscp工具傳輸文件

傳文件,傳模型都可以

 

二、Linux相關配置:

1、管理員賬戶添加

添加用戶

useradd run

設置密碼

passwd run 

設置用戶權限

usermod -g root run 

查看所有用戶信息

cat /etc/passwd 

重置配置文件,需要root權限才能覆蓋,所以丟失該文件之后要第一時間保證root的登錄狀態,重啟就麻煩了(要么重裝系統,要么在機箱上裝系統盤進行恢復)

cp /etc/passwd- /etc/passwd

在root下編輯passwd

vi /etc/passwd 

如果我新添加的用戶名是test那么:

第三個參數設為0即可

test:x:0:0::/home/test:/bin/bash 

光標移動到響應位置后按insert鍵進行修改。

修改完成后按ESC,輸入“:wq”保存即可退出

 

 

#切換用戶,切換到run用戶 

su run 

命令行之前是#就說明是root權限

 

更改目錄權限

sudo chmod -R 777 /home/run/

 

2、conda環境配置

(1)安裝bzip2

yum install -y bzip2

 

 

 

 

(2)、安裝anaconda

1)、下載

sudo wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.3.0-Linux-x86_64.sh

 

2)、安裝

sudo bash Anaconda3-5.3.0-Linux-x86_64.sh

回車

空格

 

Yes

 

目錄就寫:

/home/run/anaconda3

安裝中。。。。。。

 

如果出現這句話:

一定要打yes,意思是是否願意將conda添加到環境變量,實測這里打yes沒卵用

 

(3)、conda環境變量配置:

如果沒有出現是否願意將conda添加到環境變量這句話,

就按照下面的步驟操作(出現了打yes也要按照這個來,因為打yes沒卵用)

添加anaconda環境變量 
輸入命令:

vi /etc/profile 

進入 /etc/profile 文件,在文件末尾加上如下兩行代碼

 

PATH=$PATH:/home/run/anaconda3/bin  #路徑名跟自己實際情況而定

export PATH

 

ESC,:wq保存

 使配置生效

source /etc/profile

 

 

conda --version

這里看到顯示版本則說明配置成功

 

 

(4)conda更新

更新conda install的源,清華源

conda config --add channels 'https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/'

 

設置搜索時顯示通道地址

conda config --set show_channel_urls yes

 

更新一下conda

conda update conda

 

3、jupyter notebook環境配置:

(1)、創建jupyter notebook運行環境,

可以方便管理各類庫

conda create -n jupyter_notebook python=3

 

激活環境

source activate jupyter_notebook

現在是在jupyter的環境下:

 

 

退出環境:后續所有操作都是在jupyter環境中運行,所以不要退出

source deactivate

 

(2)、安裝深度學習所需要的所有庫

有conda install盡量用conda install

如果沒有就用pip install

為什么,因為conda install快啊。

pip install --upgrade pip

conda install numpy

conda install pandas

conda install tensorflow-gpu

conda install keras

pip install jieba

 

 

(3)、安裝jupyter notebook

conda install jupyter notebook

 

測試

jupyter notebook --ip=127.0.0.1 --allow-root

Ctrl+c退出

 

 

(4)、配置jupyter notebook遠程訪問

jupyter notebook --generate-config --allow-root

生成了一個.py的配置文件

 

生成密碼:

ipython

 In [1],In [2]分別是:

from notebook.auth import passwd
passwd() 

Enter password: 自己輸入,記住,等會遠程登錄使用

Verify password:

Out[2]: 'sha1:f7a4725c96ae:6f4b9089e295405d0e4a2fdfc3d2209f9dd0214f'

保存好這個out的密碼

現在打開.py的配置文件:

vim /home/run/.jupyter/jupyter_notebook_config.py

在最后一行加入:

c.NotebookApp.allow_root = True

c.NotebookApp.ip = '*'

c.NotebookApp.password = 'sha1:f7a4725c96ae:6f4b9089e295405d0e4a2fdfc3d2209f9dd0214f'#這里的密碼是剛剛生成的密碼

c.NotebookApp.port= 8888

c.NotebookApp.notebook_dir = "/home/run/" #默認目錄

c.NotebookApp.open_browser = False

 

在按ESC,輸入::wq保存退出

 

(5)、運行jupyter

jupyter notebook --allow-root

 

All ip 說明允許所有IP進行訪問。

 

 

(6)、jupyter本地鏈接

現在打開瀏覽器:

輸入服務器IP:8888進入

再輸入前邊passwd()后自己設置的密碼:

所有的操作就和本地的jupyter notebook是一樣的了

這就是環境配置完成了。

 

 

三、跑代碼

別忘了保存模型文件

本地編輯好代碼之后,直接粘貼在阿里雲的notebook里,時間就是金錢啊,要珍惜每一秒鍾。

 

 

四、創建自定義鏡像

 

 

創建好之后每次購買阿里雲GPU(按量付費)的話,就不用每次都配置了,鏡像文件選擇自定義鏡像就可以了。

 

五、釋放實例

跑完代碼之后,模型文件保存到本地之后,到阿里雲的控制台,選擇左側實例,找到GPU服務器,右側找到更多釋放實例→立即釋放

 

 

六、再次啟動

再次使用實例的時候,那些繁雜的安裝就不需要了,前面的自定義鏡像就相當於GHOST一個鏡像,進行系統還原一樣。

只需要:

1,啟動激活notebook環境,

source activate jupyter_notebook

2,運行jupyter notebook

jupyter notebook --allow-root

3,啟動瀏覽器,新GPU服務IP:8888進入。

4,Putty+winscp鏈接新服務器。

就可以了。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM