Ubuntu16.04 安裝配置Caffe

Caffe已經是第三次安裝配置了，為什么是第三次呢？因為我實在是低估了深度學習對於硬件的要求。第一次我在自己筆記本上配置的單核，CPU only ...  結果是，樣例數據跑了4小時，這還怎么玩？第二次在台式機上，因為台式機比較low，I5處理器4核，沒有NVIDIA的GPU。我把別人訓練好的模型下載下來，然后自己測試，發現真的成功了，心里小激動~ 然而，當我自己訓練模型時，我訓練7天.....  關鍵是7天了還在跑..... 

心想，我這個窮逼難道要自己掏錢買個服務器？那怎么可能。還好，老師人非常好，給我找了個服務器~  現在終於是勞資大顯身手的時候了。

整個配置過程很長啊，坑多，沒有linux基礎的就別來了，你會崩潰的。我參考了好幾個帖子，基本上每個帖子都有或多或少的問題，文章結尾的時候，我會留下前輩們的文章地址，算是對他們的尊敬和對我幫助的感謝。好，下面切入正題！

電腦配置：

系統：Ubuntu16.04   GPU：NVIDIA Corporation GM107GL [Quadro K620] (提示：在linux下可以通過 lspci | grep -i vga 查看）

安裝過程

1.安裝相關依賴項

sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev
sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

2.安裝NVIDIA驅動

(1)查詢NVIDIA驅動

首先去官網 http://www.nvidia.com/Download/index.aspx?lang=en-us 查看適合自己顯卡的驅動並下載：

驅動文件后綴名應當是以.run結尾的。我們要把這個文件移動到家目錄下，原因是下面我們要切換到文字界面下，如果放到~/下載 下面，我們沒有辦法進入下載這個目錄（沒有中文輸入法，且中文全部是亂碼）

                 

                        圖1 輸入顯卡型號                                                                                                                                     圖2  顯卡驅動搜索結果

我的顯卡型號是Quadro K620，系統是linux 64位，按照要求選擇后點擊search. 圖2是搜索結果，點擊下載就好了。

我下載后的驅動文件是：NVIDIA-Linux-x86_64-375.20.run

（2）安裝驅動

在終端下輸入： sudo gedit /etc/modprobe.d/blacklist.conf  

輸入密碼后在最后一行加上 blacklist nouveau .  這里是將Ubuntu自帶的顯卡驅動加入黑名單。

在終端輸入： sudo update-initramfs -u  

重啟電腦~
這里要尤其注意，安裝顯卡驅動要先切換到文字界面，(按Ctrl+Alt+F1~F6).所以，啟動電腦后，先進入文字界面。

然后，輸入命令 sudo service lightdm stop 

現在可以安裝驅動了，先進入家目錄 cd ~ ，然后： sudo ./NVIDIA-Linux-x86_64-375.20.run，按照提示一步步來~ 

完成后，再次重啟電腦。

安裝完成之后輸入以下指令進行驗證： sudo nvidia-smi ，若列出了GPU的信息列表則表示驅動安裝成功。如下圖：

3.安裝CUDA

CUDA是NVIDIA的編程語言平台，想使用GPU就必須要使用cuda。

（1）下載CUDA

首先在官網上(https://developer.nvidia.com/cuda-downloads)下載CUDA：

 (2) 下載完成后執行以下命令：

sudo chmod 777 cuda_8.0.44_linux.run
sudo  ./cuda_8.0.44_linux.run

注意：執行后會有一系列提示讓你確認，但是注意，有個讓你選擇是否安裝nvidia367驅動時，一定要選擇否：
Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 367.48?
因為前面我們已經安裝了更加新的nvidia367，所以這里不要選擇安裝。其余的都直接默認或者選擇是即可。

(3)環境變量配置

打開~/.bashrc文件： sudo gedit ~/.bashrc 
將以下內容寫入到~/.bashrc尾部：

export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

(4)測試CUDA的samples

cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery
make
sudo ./deviceQuery

如果顯示一些關於GPU的信息，則說明安裝成功。

 4.配置cuDNN
cuDNN是GPU加速計算深層神經網絡的庫。
首先去官網 https://developer.nvidia.com/rdp/cudnn-download 下載cuDNN，需要注冊一個賬號才能下載。下載版本號如下圖：

下載cuDNN5.1之后進行解壓：

sudo tar -zxvf ./cudnn-8.0-linux-x64-v5.1.tgz 

進入cuDNN5.1解壓之后的include目錄，在命令行進行如下操作：

cd cuda/include
sudo cp cudnn.h /usr/local/cuda/include  #復制頭文件

再將進入lib64目錄下的動態文件進行復制和鏈接：

cd ..
cd lib64
sudo cp lib* /usr/local/cuda/lib64/    #復制動態鏈接庫
cd /usr/local/cuda/lib64/
sudo rm -rf libcudnn.so libcudnn.so.5    #刪除原有動態文件
sudo ln -s libcudnn.so.5.0.5 libcudnn.so.5  #生成軟銜接
sudo ln -s libcudnn.so.5 libcudnn.so      #生成軟鏈接

 5.安裝opencv3.1
從官網(http://opencv.org/downloads.html)下載Opencv,並將其解壓到你要安裝的位置，假設解壓到了/home/opencv。

unzip opencv-3.1.0.zip
sudo cp ./opencv-3.1.0 /home
sudo mv opencv-3.1.0 opencv

安裝前准備，創建編譯文件夾：

cd ~/opencv
mkdir build
cd build

配置：

sudo apt install cmake
sudo cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..

編譯：

sudo make -j8 

-j8表示並行計算，根據自己電腦的配置進行設置，配置比較低的電腦可以將數字改小或不使用，直接輸make。

可能出現問題：

這是因為opecv3.0與cuda8.0不兼容導致的。解決辦法：修改 ～/opencv/modules/cudalegacy/src/graphcuts.cpp文件內容，如圖：

其中， #if !defined (HAVE_CUDA) || defined (CUDA_DISABLER)||(CUDART_VERSION>=8000) 是我們修改的。
以上只是將opencv編譯成功，還沒將opencv安裝，需要運行下面指令進行安裝：

sudo make install

6.配置caffe

(1)使用Git直接下載Caffe非常簡單，或者去https://github.com/BVLC/caffe下載。由於我習慣去github上找代碼，所以就直接去下載的源碼。

下載完成后，會在家目錄下的下載里找到caffe-master.zip，用unzip命令解壓到家目錄下，然后重命名為caffe.

(2)因為make指令只能make Makefile.config文件，而Makefile.config.example是caffe給出的makefile例子，因此，首先將Makefile.config.example的內容復制到Makefile.config： sudo cp Makefile.config.example Makefile.config 

(3) 打開並修改配置文件：
 sudo gedit Makefile.config #打開Makefile.config文件 根據個人情況修改文件：
a.若使用cudnn，則
將
#USE_CUDNN := 1
修改成：
USE_CUDNN := 1
b.若使用的opencv版本是3的，則
將
#OPENCV_VERSION := 3
修改為：
OPENCV_VERSION := 3
c.若要使用python來編寫layer，則
將       #WITH_PYTHON_LAYER := 1  
修改為 WITH_PYTHON_LAYER := 1 
d.重要的一項 :
將 # Whatever else you find you need goes here. 下面的

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib 

修改為：

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial       

這是因為ubuntu16.04的文件包含位置發生了變化，尤其是需要用到的hdf5的位置，所以需要更改這一路徑.

(4)修改makefile文件
打開makefile文件，做如下修改：
將：

NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)

替換為：

NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)

(5)編輯/usr/local/cuda/include/host_config.h
將其中的第115行注釋掉：
將

#error-- unsupported GNU version! gcc versions later than 4.9 are not supported!
改為
//#error-- unsupported GNU version! gcc versions later than 4.9 are not supported!

(6)編譯
make all -j8 #-j根據自己電腦配置決定
編譯過程中可能會出現如下錯誤：
錯誤內容1：
"fatal error: hdf5.h: 沒有那個文件或目錄"
解決辦法：
step1:在Makefile.config文件的第85行，添加/usr/include/hdf5/serial/ 到 INCLUDE_DIRS，也就是把下面第一行代碼改為第二行代碼。
將：
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
替換為：
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/
stept2:在Makefile文件的第173行，把 hdf5_hl 和hdf5修改為hdf5_serial_hl 和 hdf5_serial，也就是把下面第一行代碼改為第二行代碼。
將：
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5
改為：
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial
錯誤內容2：
"libcudnn.so.5 cannot open shared object file: No such file or directory"
解決辦法是將一些文件復制到/usr/local/lib文件夾下：
#注意自己CUDA的版本號！

sudo cp /usr/local/cuda-8.0/lib64/libcudart.so.8.0 /usr/local/lib/libcudart.so.8.0 && sudo ldconfig
sudo cp /usr/local/cuda-8.0/lib64/libcublas.so.8.0 /usr/local/lib/libcublas.so.8.0 && sudo ldconfig
sudo cp /usr/local/cuda-8.0/lib64/libcurand.so.8.0 /usr/local/lib/libcurand.so.8.0 && sudo ldconfig
sudo cp /usr/local/cuda-8.0/lib64/libcudnn.so.5 /usr/local/lib/libcudnn.so.5 && sudo ldconfig

 （8）測試

sudo make runtest

如果運行之后出現下圖，說明caffe配置成功。

 到此caffe配置完畢！

 MNIST數據集測試
配置caffe完成后，我們可以利用MNIST數據集對caffe進行測試，過程如下：
 
1.將終端定位到Caffe根目錄
cd ~/caffe
 
2.下載MNIST數據庫並解壓縮
./data/mnist/get_mnist.sh
 
3.將其轉換成Lmdb數據庫格式
./examples/mnist/create_mnist.sh
 
4.訓練網絡
./examples/mnist/train_lenet.sh
訓練的時候可以看到損失與精度數值，如下圖：

可以看到最終訓練精度是0.9914。