推薦博客:https://www.linuxidc.com/Linux/2017-11/148629.htm
https://blog.csdn.net/yggaoeecs/article/details/79163789
此教程主要借鑒自:
GPU版:http://www.linuxidc.com/Linux/2016-12/138870.htm
CPU版:http://www.linuxidc.com/Linux/2016-09/135034.htm
1 電腦配置及軟件說明
1) Ubuntu 16.04 x64系統,GPU:Quadro M4000(提示:在linux下可以通過命令lspic | grep –i vga 查看)
2) Caffe:Convolutional Architecture for Fast FeatureEmbedding
3) NVIDIA顯卡驅動(不同的GPU對應不同的版本)
4) CUDA 9.0
5) cuDNN v7.0.5 for CUDA 9.0
6) OpenCV 3.2.0
2 安裝NVIDIA GPU驅動
2.1 查詢GPU驅動
首先去NVIDIA官網http://www.nvidia.com/Download/index.aspx?lang=en-us查看適合自己顯卡的驅動並下載。如下圖1,圖2所示。
圖1. 填寫GPU和系統信息
圖2. 搜索結果
本文中顯卡型號是Quadro M4000,系統linux 64-bit,按照要求點擊serach出現圖2所示搜索結果,點擊下載。本文中下載的驅動文件是:NVIDIA-Linux-x86_64-384.111.run。
注意:我們要把這個文件放到英文目錄(e.g. /home)下,原因是下面我們要切換到文字界面下,如果放到中文目錄下,我們沒有辦法進入這個目錄(沒有中文輸入法,且中文全部是亂碼)。
2.2 安裝GPU驅動
2.2.1 屏蔽自帶顯卡驅動
1) 在終端下輸入: sudo gedit /etc/modprobe.d/blacklist.conf
2) 輸入密碼收在最后一行加上:blacklist nouveau. 這里是將Ubuntu自帶的顯卡驅動加入黑名單
3) 在終端輸入:sudo update-initramfs –u,使修改生效
4) 重啟電腦
2.2.2 安裝新驅動
1) 啟動電腦后,按Ctrl+Alt+F1~F6進入命令行界面(安裝GPU驅動要求在命令行環境),輸入用戶名和密碼進入用戶目錄
2) 輸入命令:sudo service lightdm stop
3) 進入驅動所在的文件夾,sudo chmod +x ./NVIDIA-Linux-x86_64-384.111.run,修改權限。然后:sudo ./NVIDIA-Linux-x86_64-384.111.run,進入安裝程序
4) 完成安裝后,重啟電腦
5) 重啟電腦后,輸入以下指令進行驗證:sudo nvidia-smi,若列出了GPU的信息列表則表示驅動安裝成功。如下圖3所示。
圖3. GPU信息列表
3 安裝CUDA
CUDA是NVIDIA的編程語言平台,想使用GPU就必須要使用cuda。
(1) 下載CUDA
首先在官網上https://developer.nvidia.com/cuda-downloads下載CUDA。下載CUDA時一定要注意CUDA和NVIDIA顯卡驅動的適配性。現在的情況是:CUDA_8.0支持375.**及以上系列的顯卡驅動;CUDA_9.0支持384.**及以上系列的顯卡驅動;CUDA_9.1支持389.**及以上系列的顯卡驅動。本文中的顯卡驅動為384.111系列,所以不能下載最新版本的CUDA_9.1,最后下載的是cuda_9.0.176_384.81_linux.run(當然,CUDA_8.0也是沒問題的)。下載界面如下圖4所示。
圖4. CUDA_9.0下載界面
(2) 運行安裝程序
執行以下命令:
sudo chmod 777 cuda_9.0.176_384.81_linux.run
sudo ./cuda_9.0.176_384.81_linux.run
注意:執行后會有一系列提示讓你確認,但是注意,有個讓你選擇是否安裝nvidia384驅動時,一定要選擇否:Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 384.**?
因為前面我們已經安裝了更加新的nvidia384,所以這里不要選擇安裝。其余的都直接默認或者選擇是即可。
(3) 環境變量設置
打開~/.bashrc文件:sudo gedit ~/.bashrc
將以下內容寫入到~/.bashrc尾部:
exportPATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}
exportLD_LIBRARY_PATH=/usr/local/cuda/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
(4) 測試CUDA是否安裝成功
執行以下命令:
cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery
sudo make
sudo ./deviceQuery
如果顯示一些關於GPU的信息,則說明安裝成功。如下圖5所示。
圖5. CUDA測試信息
4 配置cuDNN
cuDNN是GPU加速計算深層神經網絡的庫。
(1) 首先去官網 https://developer.nvidia.com/rdp/cudnn-download 下載cuDNN,需要注冊一個賬號才能下載。下載cuDNN時也一定要注意與CUDA版本的適配性,此信息官網中已經給的很清楚。下載界面如下圖6所示。
圖6. cuDNN下載界面
(2) 下載cuDNN后進行解壓:sudo tar -zxvf ./cudnn-9.0-linux-x64-v7.tgz
(3) 進入解壓后的文件夾下的include目錄,在命令行進行如下操作:
cd cuda/include
sudo cp cudnn.h/usr/local/cuda/include #復制頭文件到cuda頭文件目錄
(4) 進入lib64目錄下,對動態文件進行復制和軟鏈接
cd ..
cd lib64
sudo cp lib*/usr/local/cuda/lib64/ #復制動態鏈接庫
cd /usr/local/cuda/lib64/
sudo rm -rf libcudnn.solibcudnn.so.7 #刪除原有動態文件
sudo ln -s libcudnn.so.7.0.5libcudnn.so.7 #生成軟銜接
sudo ln -s libcudnn.so.7libcudnn.so #生成軟鏈接
5 安裝OpenCV3.2
詳細的安裝請參考:http://www.linuxidc.com/Linux/2017-07/145446.htm
(1) 從官網(http://opencv.org/downloads.html)下載Opencv,並將其解壓到你要安裝的位置,假設解壓到了/home/opencv。
unzip opencv-3.2.0.zip
sudo cp ./opencv-3.2.0 /home/username
sudo mv opencv-3.2.0 opencv
(2) 安裝前准備,創建編譯文件夾
cd ~/opencv
mkdir build
cd build
(3) 配置
sudo apt install cmake
sudo cmake -D CMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=/usr/local ..
(4) 編譯
sudo make -j8 (-j8表示並行計算,根據自己電腦的配置進行設置,配置比較低的電腦可以將數字改小或不使用,直接輸make)
(5) 安裝
以上只是將opencv編譯成功,還沒將opencv安裝,需要運行下面指令進行安裝:
sudo make install
6 配置Caffe
(1) 安裝相關依賴
sudoapt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-devlibhdf5-serial-dev protobuf-compiler
sudoapt-get install --no-install-recommends libboost-all-dev
sudoapt-get install libopenblas-dev liblapack-dev libatlas-base-dev
sudoapt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
上面有些命令是不對嘚用下面嘚:參考博客:https://www.cnblogs.com/go-better/p/7161006.html
1 sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler 2 sudo apt-get install --no-install-recommends libboost-all-dev 3 sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev 4 sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
(2) 下載Caffe
使用Git直接下載Caffe非常簡單,或者去https://github.com/BVLC/caffe下載。
下載完成后,會在家目錄下的下載里找到caffe-master.zip,用unzip命令解壓到家目錄下,然后重命名為caffe。
(3) 修改Makefile.config
因為make指令只能make Makefile.config文件,而Makefile.config.example是caffe給出的makefile例子。因此,首先將Makefile.config.example的內容復制到Makefile.config:
sudo cpMakefile.config.example Makefile.config
打開並修改配置文件:
sudogedit Makefile.config #打開Makefile.config文件 根據個人情況修改文件:
a. 若使用cudnn,則將
#USE_CUDNN:= 1
修改成:
USE_CUDNN:= 1
b. 若使用的opencv版本是3的,則將
#OPENCV_VERSION:= 3
修改為:
OPENCV_VERSION:= 3
c. 若要使用python來編寫layer,則將
#WITH_PYTHON_LAYER:= 1
修改為WITH_PYTHON_LAYER := 1
d. 重要的一項,將
#Whatever else you find you need goes here. 下面的
INCLUDE_DIRS:= $(PYTHON_INCLUDE) /usr/local/include
LIBRARY_DIRS:= $(PYTHON_LIB) /usr/local/lib /usr/lib
修改為:
INCLUDE_DIRS:= $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS:= $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/usr/lib/x86_64-linux-gnu/hdf5/serial
這是因為Ubuntu16.04的文件包含位置發生了變化,尤其是需要用到的hdf5的位置,所以需要更改這一路徑。
(4) 修改Makefile文件
打開Makefile文件,做如下修改,將:
NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC$(COMMON_FLAGS)
替換為:
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX)-Xcompiler -fPIC $(COMMON_FLAGS)
(5) 編輯/usr/local/cuda/include/host_config.h
將其中的第115行注釋掉,將
#error-- unsupported GNU version! gcc versionslater than 4.9 are not supported!
改為:
//#error-- unsupported GNU version! gcc versionslater than 4.9 are not supported!
(6) 編譯
make all -j8 #-j根據自己電腦配置決定
如果出現錯誤:
Unsupported gpu architecture 'compute_20'
CUDA_ARCH := #-gencode arch=compute_20,code=sm_20 \
#-gencode arch=compute_20,code=sm_21 \
-gencode arch=compute_30,code=sm_30 \
-gencode arch=compute_35,code=sm_35 \
-gencode arch=compute_50,code=sm_50 \
-gencode arch=compute_52,code=sm_52 \
-gencode arch=compute_60,code=sm_60 \
-gencode arch=compute_61,code=sm_61 \
-gencode arch=compute_61,code=compute_61
不支持compute_20 即把compute_20 所在行注釋掉,然后make clean,重新make
如果出現 錯誤 1(make: Nothing to be done for 'pycaffe'.)解決方法
$ sudo make clean
之后運行
$ sudo make pycaffe
如果出現 錯誤 2fatal error: numpy/arrayobject.h沒有那個文件或目錄
其實numpy已經是安裝的,anaconda2里面有,python中import numpy也沒有問題,但就是在此處報錯,解決方法:
sudo apt-get install python-numpy
然后
sudo make pycaffe -j16
pycaffe就編譯成功了
(7) 測試
sudo make runtest
如果運行之后出現下圖7所示,說明caffe配置成功。
如果出現下面錯位:make: .build_release/tools/caffe:命令未找到
參考博客:https://stackoverflow.com/questions/43515617/caffe-error-while-loading-shared-libraries-libcudnn-so-5-cannot-open-shared-o
https://blog.csdn.net/yunyi4367/article/details/78070928?locationNum=4&fps=1
解決辦法是使用命令打開環境變量sudo gedit ~/.bashrc后面添加參考博客一嘚第一句話 1. export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64:$LD_LIBRARY_PATH
圖7. Caffe測試成功運行結果
7 MNIST數據集測試
配置caffe完成后,我們可以利用MNIST數據集對caffe進行測試,過程如下:
1.將終端定位到Caffe根目錄
cd ~/caffe
2.下載MNIST數據庫並解壓縮
./data/mnist/get_mnist.sh
3.將其轉換成Lmdb數據庫格式
./examples/mnist/create_mnist.sh
4.訓練網絡
./examples/mnist/train_lenet.sh
訓練的時候可以看到損失與精度數值,如下圖8所示:
下面這個博客也不錯嘚!
https://www.cnblogs.com/go-better/p/7161006.html
Ubuntu16.04 14.04安裝配置Caffe(GPU版)
caffe配置過程很長啊,坑非常多,沒有linux基礎的估計會香菇的。我參考了網上很多的帖子,基本上每個帖子都有或多或少的問題,研究很久最終配置成功。參考過的帖子太多,都記不太清來源了。為了對前人的感謝,特地寫下我的配置過程,以供大家參考。可能我寫的時候會有遺漏,還望多多包涵,共同探討!
1. 安裝相關依賴項
1 sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler 2 sudo apt-get install --no-install-recommends libboost-all-dev 3 sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev 4 sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
2.安裝NVIDIA驅動
(1) 查詢NVIDIA驅動
首先去官網 http://www.nvidia.com/Download/index.aspx?lang=en-us 查看適合自己顯卡的驅動(這里不要下載,用下載的驅動安裝可能會出現循環登陸問題)

點擊右邊的search進入下載頁面

可以看到我的顯卡支持375
(2)安裝驅動
在終端下輸入:
sudo apt-get purge nvidia-* //這是卸載以前的nvidia驅動 sudo add-apt-repository pa:graphics-drivers/ppa sudo apt-get update sudo apt-get install nvidia-375 reboot //重啟
完成后,電腦重啟。
安裝完成之后輸入以下指令進行驗證:
sudo nvidia-smi
若列出了GPU的信息列表則表示驅動安裝成功。如下圖:

3.安裝CUDA
(1)下載CUDA
首先在官網上(https://developer.nvidia.com/cuda-downloads)下載CUDA:

(2)下載完成后執行以下命令(我用的是cuda7.5):
1 sudo chmod 777 cuda_7.5.44_linux.run 2 sudo ./cuda_7.5.44_linux.run
注意:執行后會有一系列提示讓你確認,但是注意,有個讓你選擇是否安裝nvidia367驅動時,一定要選擇否:
Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 367.48?
因為前面我們已經安裝了更加新的nvidia367,所以這里不要選擇安裝。其余的都直接默認或者選擇是即可。
(3)環境變量配置
打開~/.bashrc文件:
sudo gedit ~/.bashrc
將以下內容寫入到~/.bashrc尾部:
export PATH=/usr/local/cuda-7.5/bin${PATH:+:${PATH}} export LD_LIBRARY_PATH=/usr/local/cuda-7.5/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
在/etc/profile文件中添加CUDA環境變量:
sudo gedit /etc/profile
打開文檔都在文檔結尾加上下面兩句:
1 PATH=/usr/local/cuda/bin:$PATH 2 export PATH
保存后, 執行下列命令, 使環境變量立即生效:
source /etc/profile
同時添加lib庫路徑,在 /etc/ld.so.conf.d/新建文件 cuda.conf
sudo gedit /etc/ld.so.conf.d/cuda.conf
在文中加入下面內容:
/usr/local/cuda/lib64
執行下列命令使之立刻生效:
sudo ldconfig
(4)測試CUDA的samples
1 cd /usr/local/cuda-7.5/samples/1_Utilities/deviceQuery 2 make 3 sudo ./deviceQuery
如果顯示一些關於GPU的信息,則說明安裝成功。

nvcc –V 命令可查看版本
4.配置cuDNN(感覺我的有問題,我暫時沒用這個,另外這個單獨寫了個教程)
cuDNN是GPU加速計算深層神經網絡的庫。
首先去官網 https://developer.nvidia.com/rdp/cudnn-download 下載cuDNN,需要注冊一個賬號才能下載。
我直接在網上下的cuda7.5的cudnn-7.5-linux-x64-v5.0.tgz
進行解壓:
sudo tar -zxvf ./cudnn-7.5-linux-x64-v5.0.tgz
進入cuDNN5.0解壓之后的include目錄,在命令行進行如下操作:
1 cd cuda/include 2 sudo cp cudnn.h /usr/local/cuda/include #復制頭文件
再將進入lib64目錄下的動態文件進行復制和鏈接:
1 cd .. 2 cd lib64 3 sudo cp lib* /usr/local/cuda/lib64/ #復制動態鏈接庫 4 cd /usr/local/cuda/lib64/ 5 sudo chmod +r libcudnn.so.5.0.5 6 sudo ln -sf libcudnn.so.5.0.5 libcudnn.so.5 7 sudo ln -sf libcudnn.so.5 libcudnn.so 8 sudo ldconfig
5.安裝opencv3.1
從官網(http://opencv.org/downloads.html)下載Linux版Opencv

並將其解壓到你要安裝的位置,假設解壓到了/home/opencv
1 unzip opencv-3.1.0.zip 2 sudo cp ./opencv-3.1.0 /home 3 sudo mv opencv-3.1.0 opencv
安裝前准備,創建編譯文件夾:
1 cd ~/opencv 2 mkdir build 3 cd build
配置:
1 sudo apt install cmake 2 sudo cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..
編譯:
sudo make -j8
-j8表示並行計算,根據自己電腦的配置進行設置,配置比較低的電腦可以將數字改小或不使用,直接輸make。
以上只是將opencv編譯成功,還沒將opencv安裝,需要運行下面指令進行安裝:
sudo make install
測試opencv:
1 mkdir ~/opencv-test 2 cd ~/opencv-test 3 gedit DisplayImage.cpp
編輯如下代碼:
1 #include <stdio.h>
2 #include <opencv2/opencv.hpp> 3 using namespace cv; 4 int main(int argc, char** argv ) 5 { 6 if ( argc != 2 ) 7 { 8 printf("usage: DisplayImage.out <Image_Path>\n"); 9 return -1; 10 } 11 Mat image; 12 image = imread( argv[1], 1 ); 13 if ( !image.data ) 14 { 15 printf("No image data \n"); 16 return -1; 17 } 18 namedWindow("Display Image", WINDOW_AUTOSIZE ); 19 imshow("Display Image", image); 20 waitKey(0); 21 return 0; 22 }
創建CMake編譯文件:
gedit CMakeLists.txt
寫入如下內容:
cmake_minimum_required(VERSION 2.8) project( DisplayImage ) find_package( OpenCV REQUIRED ) add_executable( DisplayImage DisplayImage.cpp ) target_link_libraries( DisplayImage ${OpenCV_LIBS} )
編譯:
1 cd ~/opencv-test 2 cmake . 3 make
執行:
此時opencv-test文件夾中已經產生了可執行文件DisplayImage,隨便從網上下載一張圖片放在opencv-test文件夾下,此處下載了opencv.jpg,然后運行:
./DisplayImage opencv.jpg
結果是顯示我下載的這張圖像。
如果想用python調用opencv,安裝python-opencv:
1 sudo apt-get install python-opencv 2 sudo apt-get install python-numpy
打開python,import即可。
Ps:如果用cuda8.0,可能會出現以下錯誤:

這是因為opecv3.0與cuda8.0不兼容導致的。解決辦法:修改 ~/opencv/modules/cudalegacy/src/graphcuts.cpp文件內容,如圖:

其中
#if !defined (HAVE_CUDA) || defined (CUDA_DISABLER)||(CUDART_VERSION>=8000)
是我們修改的。
6.配置caffe
(1)https://github.com/BVLC/caffe下載caffe
下載完成后,會在家目錄下的下載里找到caffe-master.zip,用unzip命令解壓到家目錄下,然后重命名為caffe.
(2)復制Makefileconfig
sudo cp Makefile.config.example Makefile.config
(3)打開並修改配置文件:
sudo gedit Makefile.config #打開Makefile.config文件
根據個人情況修改文件:
a.若使用cudnn,則
將
#USE_CUDNN := 1
修改成:
USE_CUDNN := 1
b.若使用的opencv版本是3的,則
#OPENCV_VERSION := 3
修改為:
OPENCV_VERSION := 3
c.若要使用python來編寫layer,則
#WITH_PYTHON_LAYER := 1
修改為
WITH_PYTHON_LAYER := 1
d.重要的一項 :
將# Whatever else you find you need goes here. 下面的
1 INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include 2 LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib
修改為:
1 INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial 2 LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial
(4)修改makefile文件
打開makefile文件,做如下修改:(這個不知道有沒有用,這一步感覺沒作用)
將:
NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)
替換為:
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
接下來是針對安裝opencv3.0.0版本的同學而言的,對於3.0.0之前的版本不需要修改:
在位置((LIBRARIES+= glog gflags protobuf leveldb snappy lmdbboost_system hdf5_hl hdf5 m
opencv_coreopencv_highgui opencv_imgproc opencv_imgcodecs))處添加opencv_imgcodecs
這一步非常重要,否則編譯后會出現錯誤如下:
CXX/LD-o.build_release/tools/convert_imageset.bin
.build_release/lib/libcaffe.so:undefined reference tocv::imread(cv::String const&,int)'.build_release/lib/libcaffe.so: undefined referencetocv::imencode(cv::String const&, cv::_InputArray const&,std::vector >&, std::vector > const&)'
原因就是opencv3.0.0把imread相關函數放到imgcodecs.lib中了,而非原來的imgproc.lib。
(If you input "make all",the problem is the same again.But if you delete all the file in build(rm -rf ./build/*) before "make all"(I use make clean ),you will success.I just success)
(5)編輯/usr/local/cuda/include/host_config.h(不知道有沒有用,這一步我看到有帖子改了,但大多數沒改這個)
將其中的第115行注釋掉:
#error-- unsupported GNU version! gcc versions later than 4.9 are not supported!
改為
//#error-- unsupported GNU version! gcc versions later than 4.9 are not supported!
(6)編譯
make all –j8 make test –j8 make runtest –j8
7.編譯pycaffe
在caffe根目錄的python文件夾下,有一個requirements.txt的清單文件,上面列出了需要的依賴庫,按照這個清單安裝就可以了。
在安裝scipy庫的時候,需要fortran編譯器(gfortran),如果沒有這個編譯器就會報錯,因此,我們可以先安裝一下。
首先回到caffe的根目錄,然后執行安裝代碼:
1 cd ~/caffe 2 sudo apt-get install gfortran 3 cd ./python 4 for req in $(cat requirements.txt); do pip install $req; done
安裝完成以后,再次回到caffe根目錄我們可以執行:
1 cd .. 2 sudo pip install -r python/requirements.txt
就會看到,安裝成功的,都會顯示Requirement already satisfied, 沒有安裝成功的,會繼續安裝。
編譯python接口:
make pycaffe -j8
配置環境變量,以便python調用:
sudo gedit ~/.bashrc
將export PYTHONPATH=/home/caffe/python:$PYTHONPATH添加到文件中
source ~/.bashrc

