caffe+CPU︱虛擬機+Ubuntu16.04+CPU+caffe安裝筆記

由於虛擬機下的Ubuntu系統一般不包含GPU，故這次安裝時為了在無GUP環境下運行caffe。所以只需安裝CPU版本的caffe

 由於本機是window10系統，所以想嘗試caffe就在自己電腦上整了一個虛擬機（詳情可見：win10系統搭建虛擬機：VMware Workstation Player 12環境+Ubuntu Kylin 16.04 LTS系統），然后昨天在自己虛擬機上配置了一個caffe環境。

      其中，只是嘗試着搭建了一個CPU版本的caffe，Ubuntu16.04中自帶了python 2.7。

      在安裝的過程中，真的會出現各種各樣的報錯，但是...

      感慨天朝的實力... 每一個bug都能搜索到如何解，所以...  不要擔心，百度、谷歌一起教你裝caffe。

——————————————————————————————————————————————

本篇內容為兩個：caffe安裝流程+報錯舉例

      一、caffe安裝流程：安裝依賴、配置python、配置caffe、配置caffe的makefile文件、配置python caffe

      二、報錯舉例：linux系統的報錯問題、caffe報錯問題、python報錯問題、虛擬機問題

—————————————————————————————————

一、caffe安裝流程

      caffe安裝流程：安裝依賴、配置python、配置caffe、配置caffe的makefile文件、配置python caffe

      1、安裝依賴

安裝依賴項，這個是根據caffe官網的要求配的，打開caffe官網，在說明里有installing ···for···ubuntu，里面有裝caffe的步驟

 sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
 sudo apt-get install --no-install-recommends libboost-all-dev
 sudo apt-get install libatlas-base-dev
 sudo apt-get install libhdf5-serial-dev

      2、配置python

      一般linux都自帶python，看看python版本：python2.7 --version

      之后還要執行：

 sudo apt-get install python-dev

       加載之后：

 sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

       以上所有sudo apt-get在什么文件夾下輸入都無所謂

      3、配置caffe

      把CAFFE的源代碼下載下來: 

 git clone https://github.com/BVLC/caffe.git

如果沒有git,還需要安裝git：

 apt-get install git

      下載完成之后,進入caffe文件夾, 進入里面的python文件夾,然后輸入

 for req in $(cat requirements.txt); do pip install $req; done

       如何尋找到linux的caffe的路徑呢？

      貌似直接cd caffe/python一般就能夠直接轉給去

      pip沒有安裝，還需要安裝pip或者easy_install（先修改環境，再sudo）：

      修改python的環境變量：export PATH="$PATH:/usr/local/bin/ python

 sudo apt install python-pip

      更新pip:pip install -U pip 

4、配置caffe的makefile文件

      到CAFFE文件夾, 使用模板寫個Makefile.config

 cp Makefile.config.example Makefile.config

      -因為CPU MODE, 所以在CPU_ONLY := 1前面的#要去掉.

      -兩個路徑要改成這樣:(添加后面的兩個hdf5的路徑, 否則編譯時報hdf5錯誤)

 # Whatever else you find you need goes here.
 INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
 LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serial

      （注意：/usr之前有一個“空格”,而且這個是在makefile中進行修改）

{

打開並修改配置文件：

sudo gedit Makefile.config #打開Makefile.config文件

根據個人情況修改文件 ：

a.若 使用cudnn，則

將

#USE_CUDNN := 1

修改成： 

USE_CUDNN := 1

b.若 使用的opencv版本是3的，則

將

#OPENCV_VERSION := 3 

修改為： 

OPENCV_VERSION := 3

c.若要 使用python來編寫layer，則

將

#WITH_PYTHON_LAYER := 1 

修改為 

WITH_PYTHON_LAYER := 1

d.重要的一項 :

將# Whatever else you find you need goes here.下面的

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include

LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib 

修改為： 

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial

LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial       

這是因為ubuntu16.04的文件包含位置發生了變化，尤其是需要用到的hdf5的位置，所以需要更改這一路徑.

此處轉自：  https://www.cnblogs.com/longmao-yiran/p/6832374.html

}

     

 設置好文檔名稱之后，就要設置make：

 make pycaffe
 make all
 make test
 make runtest

      這個make默認是用CPU單核運算,如果想要快一點, 比如我想使用四核, 在make后面加上-j4標簽.

      如果上面4行某一行報錯之后想要重試,建議先make clean再重新開始.

      出現的問題：不能修改文件內容，那么可以用：

 sudo gedit Makefile.config

報錯：

 make: *** No rule to make target 'pycaffe'.  Stop.

需要make clean一下，才能再次make all ，同時cd隨便哪個目錄都行

5、配置python caffe

      make之后，需要設置一下環境變量：

 export PYTHONPATH=/caffe/python:$PYTHONPATH

      去到CAFFE文件夾里面的python文件夾, 把當前路徑記錄下來(pwd).注意是cd caffe里面python文件夾下，才行，不然直接調用會報錯

      接下來就可以打開python,然后：

 import caffe

      import之后如果沒報錯，就是完全安裝好了。

MNIST數據集測試

配置caffe完成后，我們可以利用MNIST數據集對caffe進行測試，過程如下：

 

1.將終端定位到Caffe根目錄

cd ~/caffe

 

2.下載MNIST數據庫並解壓縮

./data/mnist/get_mnist.sh

 

3.將其轉換成Lmdb數據庫格式

./examples/mnist/create_mnist.sh

 

4.訓練網絡

./examples/mnist/train_lenet.sh

訓練的時候可以看到損失與精度數值，如下圖：

圖7.MNIST數據集訓練

可以看到最終訓練精度是0.9914。

      當然，報錯無數...本節主要內容可參考博客：Ubuntu 16.04上安裝Caffe(CPU only)

—————————————————————————————————

二、報錯舉例

      報錯舉例：linux系統的報錯問題、caffe報錯問題、python報錯問題、虛擬機問題

      1、linux系統的報錯問題

      （1）報錯：E: Unable to locate package lib

      解決：apt-get update

      （2）報錯： 無法獲得鎖 /var/lib/apt/lists/lock - open (11 資源臨時不可用)

      一般都是有其他apt在使用，需要吊銷：

 1、找出apt-get進程（下載進程）
 一般ubu里面都會出現的吧，因為剛剛開始系統，系統后台都會默認幫你預裝什么東西
 查找進程代碼：
 ps -df | grep apt
 然后kill：
 kill -9 2542 2543（
 報錯：bash: kill: (2542) - Operation not permitted
 bash: kill: (2543) - Operation not permitted
 ）
 sudo kill -9 2542 2543

      參考鏈接： http://www.linuxidc.com/Linux/2014-06/103437.htm

(3)不知道apt-get之后的安裝包位置？

      apt-get安裝之后，一般會在     /var/cache/apt/archives文件夾之內

      當然，如果sudo apt install之后，以及安裝過的，就不會再次安裝的。

      參考：http://blog.csdn.net/u013797029/article/details/44492677

2、caffe報錯問題

（1）報錯：error:"make all" "make test"

 Error: 'make all' 'make test'
 .build_release/lib/libcaffe.so: undefined reference to cv::imread(cv::String const&, int)'
 .build_release/lib/libcaffe.so: undefined reference tocv::imencode(cv::String const&, cv::_InputArray const&, std::vector >&, std::vector > const&)'

      原因：caffe代碼中並沒有build文件夾，需要新建build文件夾之后再進行編譯：

 cd caffe-master　　#打開caffe所在文件夾
 cp Makefile.config.example Makefile.config  #change setting in Makefile.config
 make all -j8　　#在build文件夾下進行編譯
 make test -j8
 make runtest -j8　　#使用CPU多核同時進行編譯

3、python報錯問題

      （1）pycaffe時報錯：fatal error: numpy/arrayobject.h: No such file or directory

其實numpy已經是安裝的，anaconda2里面有，Python中import numpy也沒有問題，但就是在此處報錯，解決方法： 

 sudo apt-get install python-numpy

      參考：http://blog.csdn.net/wuzuyu365/article/details/52430657

      （2）ImportError: No module named google.protobuf.internal

      再加載一次。

 sudo pip install protobuf

（3）Matplotlib is building the font cache using fc-list. This may take a moment

      再次調用import caffe時候，出現的問題

      需要設置一下路徑export PYTHONPATH=/caffe/python:$PYTHONPATH  ,在這之前，很重要的是要去到caffe下的python文件夾下。

      4、虛擬機問題

      （1）虛擬機的顯卡是跟着本機的嗎？

 lspci |grep VGA
 00:0f.0 VGA compatible controller: VMware SVGA II Adapter

      因為我是在VMware中運行的，所以顯卡貌似是VMware SVGA II，好像跑不了GPU...

      （2）一些文件夾無法獲得root權限

      筆者在使用的時候會出現只有通過命令先root，才能修改一些文件夾，進行復制和粘貼。

      但是不能在界面中直接操作的問題？

      這一問題的答案見博客：ubuntu 16.04 啟用root用戶方法

      可以很好地解決root問題，就是重新再成立一個root賬號，這樣你就可以直接擁有root界面啦。

    （3）VMware Player cannot connect to the virtual machine

用管理員身份運行即可.

針對這一問題，官網給出的解答是兩個原因：

1、VMware授權服務沒有運行，解決辦法參考見blog：http://www.2cto.com/os/201111/112418.html

2、服務不具有管理員權限，用管理員身份運行

——————————————————————————————

延伸一：使用安裝VMware Tools工具進行文件共享

跟虛擬機進行文件共享需要下載一下VMware Tools,那么步驟為：

1、點擊安裝vmware tools

我的機器是“重新安裝”

2、光驅vmware tools

點開之后，由於是不能在這個里面進行操作的，所以需要復制到機器

 cp /media/user/VMware\ Tools/VMwareTools-10.0.10-4301679.tar.gz /

然后進行解壓：

 tar -zxvf VMwareTools-10.0.10-4301679.tar.gz

解壓完成后進入解壓文件夾vmware-tools-distrib

 cd vmware-tools-distrib

運行安裝程序：

 ./vmware-install.pl

一路y加回車

3、設置共享文件夾

在虛擬機->設置，添加自己的共享文件夾 

然后就完成了，你就可以在路徑：

 cd /mnt/hgfs

看到自己的共享文件夾了。

轉自：

http://blog.csdn.net/sinat_26917383/article/details/53502719

https://www.cnblogs.com/longmao-yiran/p/6832374.html