ubuntu16.04上安裝深度學習環境


深度學習服務器裝機指南(TITAN  V顯卡)

基本配置:

系統:ubuntu 16.04

顯卡:TITAN V

1、安裝xfce圖形界面替換ubuntu自帶界面

1.1離線安裝

 

(1)通過apt-get下載所需軟件包;

apt-cache  search  XXX  (查找XXX有哪些軟件包),找到XXX 軟件,然后執行apt-get -d install XXX,執行完后,XXX的依賴包就會下載保存在 /var/cache/apt/archives里面;        

       1.根目錄/下新建一個文件夾 

 mkdir AAA

2.將下載的deb包拷貝到上述新建的文件夾下

 cp -r /var/cache/apt/archives  /AAA

 3.修改文件夾的權限,可讀可寫可執行

 chmod 777 -R /AAA/

4.建立deb包的依賴關系

 dpkg-scanpackages /AAA/ /dev/null |gzip >/AAA/Packages.gz -r

 如果出現錯誤:sudo:dpkg-scanpackages: command not found

 則需要安裝dpkg-dev工具:

 apt-getinstall dpkg-dev

 5.將生成的Packages.gz包復制到和deb同目錄下

 cp /AAA/Packages.gz /AAA/archives/Packages.gz

 6.打包成壓縮包,以備后用

 tar cvzf AAA.tar.gz /AAA/

 保存AAA.tar.gz文件到U盤或服務器

 

(2)在另外一台沒有網絡的Ubuntu上離線安裝

1.插入U盤或光盤,將AAA.tar.gz復制到根目錄下,解壓

tar -xvf AAA.tar.gz

2.將安裝包所在和源路徑添加到系統源source.list

#備份一下

cp /etc/apt/sources.list /etc/apt/sources.list.bak

#清空源文件

echo > /etc/apt/sources.list

#添加本地源路徑進去

vi /etc/apt/sources.list

#插入下列語句

deb file:/AAA/       archives/

3.更新系統源

apt-get update

4.離線安裝

此時,在沒有網絡的情況下,我們就可以安裝我們之前下載的AAA軟件了

apt-get  install  AAA

PS :

1:在update andinstall過程中可能會報錯,就是因為文件夾路徑需要做下調整,現在路徑是/ AAA/,那就再復制一份/AAA/所有內容至/AAA/AAA/下面即可;

2:其他所有包安裝都可以以這樣方式制作離線源;

 

 

1.2在線安裝

 

sudo apt-get install xubuntu-desktop

 

 

2、安裝Nvidia GPU驅動

(1) 首先下載pipgit

sudo apt-get install git             #安裝git

sudo apt-get install python-pip     #安裝python2的pip

sudo apt-get install python3-pip   #安裝python3的pip

apt-get install openssh-server      #安裝ssh服務

(2) 更新kernel版本

1.查看內核 uname -a
2.sudo apt-get update (這一步更新包列表)
3.sudo apt-get dist-upgrade (這一步安裝所有可用更新,包括新內核)

(3) 禁用默認帶有的nouveau

# sudo vim /etc/modprobe.d/blacklist.conf  (數字是內核版本)

在文件最后添加

blacklist nouveau

options nouveau modeset=0

 

 

(4) 更新initramfs image

終端輸入:sudo update-initramfs -u

(5) 查看nouveau是否已經禁用

終端輸入:lsmod | grep nouveau       #如果沒有顯示相關的內容,說明已禁用(需要重啟電腦)

 

 

(6) 安裝顯卡驅動 https://www.nvidia.cn/Download/index.aspx?lang=cn

# sudo apt-get remove --purge nvidia-*(需要清除干凈)

# sudo apt-get remove --purge xserver-xorg-video-nouveau (刪除舊的驅動)

 

#sudo /etc/init.d/lightdm stop  關閉x server服務

 

退出圖形界面  control+alt + F2

 

# cd  到驅動所在的目錄

# chmod +x  nvidia-driver-local-repo-ubuntu1604-387.34_1.0-1_amd64    

  必須 root:    su

# dkpg -i nvidia-driver-local-repo-ubuntu1604-387.34_1.0-1_amd64#  

 

sudo /etc/init.d/lightdm restart  開啟x server服務

 

進入圖形界面   control+alt + F7

 

(7) 重啟

# reboot

(8) 查看GPU信息

# nvidia-smi

 

3、安裝CUDA(這里我們使用CUDA-9.0版本)

(1)網址:https://developer.nvidia.com/cuda-90-download-archive

(2)cd CUDA所在的目錄

# cd /home/bgl/download

 

(3)賦予權限

# chmod +x  cuda_9.0.176_384.81_linux.run

 

(4)運行 run文件安裝

# sh  cuda_9.0.176_384.81_linux.run

 

(5)安裝選項

Do you accept the previously read EULA? (accept/decline/quit): accept(接受最終用戶許可協議)

 

Install NVIDIA Accelerated Graphics Driver for cuda_8.0.61_375.26? ((y)es/(n)o/(q)uit): n

(不安裝Nvidia驅動,步驟1時已經安裝

Install the CUDA 8.0 Toolkit? ((y)es/(n)o/(q)uit): y(安裝CUDA 8.0 Toolkit

如果問openGL庫  n不裝了  

如果問你run nvidia-xconfig   y

Enter Toolkit Location [ default is /usr/local/cuda-8.0 ]:(回車鍵,使用默認安裝路徑)

Do you want to install a symbolic link at /usr/local/cuda? ((y)es/(n)o/(q)uit): y(安裝符號鏈接)

Install the CUDA 8.0 Samples? ((y)es/(n)o/(q)uit): y(安裝例程)

Enter CUDA Samples Location   默認

 

(6)安裝完之后,修改/etc/profile配置文件,在最后添加以下兩行

export PATH=/usr/local/cuda-9.0/bin:$PATH

 

export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64$LD_LIBRARY_PATH 

 

(7)~/.bashrc 文件中添加以下代碼

export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64:/usr/local/cuda-9.0/extras/CUPTI/lib64:$LD_LIBRARY_PATH

export CUDA_HOME=/usr/local/cuda-9.0

export PATH=/usr/local/cuda-9.0/bin:$PATH

 

 

(8)安裝必要的一些庫

sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev

 

 

(9)驗證是否安裝成功

# nvcc -V

若安裝成功顯示(需要重啟機器才能看到)

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2014 NVIDIA Corporation
Built on Thu_Jul_17_21:41:27_CDT_2014
Cuda compilation tools, release 6.5, V6.5.12

 

 

3、安裝cuDNN v7 (對應cuda 9.0

cd /home/bgl/download
tar -zxvf cudnn-9.0-linux-x64-v7.0.tgz     #解壓cudnn
sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/
sudo chmod a+r /usr/local/cuda/include/cudnn.h
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

 

 

 

 

 

 

4、安裝caffe 

1)安裝必要的庫

sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler

sudo apt-get install --no-install-recommends libboost-all-dev

sudo apt-get install libatlas-base-dev

sudo apt-get install python-dev

sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

 

安裝openblas

# git clone https://github.com/xianyi/OpenBLAS.git

# cd OpenBLAS

# make -j

# make PREFIX=/usr/local/openblas install

 

安裝lmdb

# pip install lmdb      # pip3 install lmdb

 

2)git 下載caffe源碼

 

git clone https://github.com/BVLC/caffe.git

 

 

3)進入caffe目錄,然后執行

 for req in $(cat requirements.txt); do pip install $req; done

 

 

(4)拷貝文件

 cp Makefile.config.example Makefile.config

 

 

 

(5)修改Makefile.config 文件里的信息

USE_CUDNN := 1                   #使用cuda進行加速

CUDA_DIR := /usr/local/cuda-9.0      # cuda頭文件及庫目錄

BLAS := open                      #使用openblas

BLAS_INCLUDE := /usr/local/openblas/include   #設置頭文件路徑

BLAS_LIB := /usr/local/openblas/lib    #設置動態庫路徑

PYTHON_INCLUDE := /usr/local/include/python2.7m   \                                   

/usr/local/lib/python2.7/site-packages/numpy/core/include/numpy  

 PYTHON_LIBRARIES := boost_python3 python3.6m

 PYTHON_INCLUDE := /usr/local/include/python3.6m \

                                          /usr/local/lib/python3.6/site-packages/numpy/core/include

PYTHON_LIB := /usr/lib               

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial 

         注意反斜杠必須是亮色 表示連續

LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/include/hdf5/serial    設置其它依賴庫動態庫路徑

刪除

CUDA_ARCH :=  的第一和第二行

  -gencode arch=compute_20,code=sm_20 \   過時了  刪除

  -gencode arch=compute_20,code=sm_21 \   過時了  刪除

 

 

 

(6)開始編譯

 

make all -j8

make pycaffe

make test -j8

make runtest -j8

 

 

 

(7)修改環境變量

 

vim ~/.bashrc  #打開配置文件,添加如下

export PYTHONPATH=/home/bgl/caffe/python:$PYTHONPATH   

source ~/.bashrc   #生效

 

安裝python-opencv

sudo apt-get install python-opencv

安裝flask

sudo apt-get install flask==0.10.1

安裝 gevent

sudo apt-get install gevent==1.1.0

安裝h5py

sudo apt-get install h5py

安裝tensorflow

sudo apt-get install tensorflow==1.12.0

安裝requests

sudo apt-get install requests

安裝leveldb

sudo apt-get install leveldb

 

 

 

(8)驗證

打開python交互界面進行如下操作

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM