本文部分內容來源於CDA深度學習實戰課堂，由唐宇迪老師授課
- 如果你企圖用CPU來訓練模型，那么你就瘋了…
- 訓練模型中，最耗時的因素是圖像大小size，一般227*227用CPU來訓練的話，訓練1萬次可能要超過1周的時間。
- 不同的網絡結構，可能會有不同圖片尺寸的需求，所以訓練之前需要了解一下，在生成LMDB環節就直接符合上模型的數據要求。
- 如果你自己DIY了框架，那么不知道如何檢驗框架與通用框架比較，是否優質，可以去benchmarks網站，跟別人的PK一下：http://human-pose.mpi-inf.mpg.de/
- Caffe官網： Examples：主要集中在訓練模型 Notebook Examples：集中在fun-tuning模型
一、訓練文件配置詳情
1、參數文件solver.prototxt
以caffeNet為例，參數解讀：
net: "/caffe/examples/lmdb_test/train/bvlc_reference_caffenet/train_val.prototxt" # 訓練的prototxt在哪，路徑 test_iter: 1000 # 測試要迭代多少個Batch test_iter * batchsize(測試集的)＝ 測試集的大小 test_interval: 500 # 每500次迭代，就在用測試集進行測試 base_lr: 0.01 # 設置初始化的學習率為0.01 lr_policy: "step" # 權重衰減策略。 gamma: 0.1 stepsize: 100000 # 初始的學習率為0.01，並且每100000次迭代中進行學習率下降 display: 20 # 每20次epoch就顯示出一些數據信息 max_iter: 50000 # 迭代次數 momentum: 0.9 # 一直都是0.9，固定不變；迭代的數據更快，步伐更快 weight_decay: 0.0005 # 權重衰減因子為0.0005 snapshot: 10000 # 每10000次迭代中，就生成當前狀態的快照 snapshot_prefix: "/caffe/examples/lmdb_test/train/bvlc_reference_caffenet" # 模型快照保存 solver_mode: CPU # 可以設定GPU還是cpu
快照的大用途：如果出了什么意外中斷了訓練，那真是天都要塌了，所以快照存儲了訓練的中間結果，這個設計真是人性化，當再次訓練時，就可以從快照中恢復數據了。直接在最后的執行文件，調用已經訓練的快照就行，用-snapshot
2、框架文件,train_val.prototxt
框架文件每一層參數具體含義是什么？可參考caffe官方鏈接：http://caffe.berkeleyvision.org/tutorial/layers.html
訓練文件:配置訓練階段的圖片數據集、配置訓練階段的標簽數據集、配置測試階段的圖片數據集 、配置測試階段的標簽數據集 、 多標簽損失函數(博客：Caffe中LMDB接口實現多標簽數據准備及訓練)
網絡的配置文件——定義網絡
Name:”” #隨便寫 Layer { Name:”” #名稱 Type:”” #很嚴格 Top:”label” # 接最后的內容，最后全連接層會出現"bottom:"label"" } Transform.param # 1/256，歸一化,多少大小一般都需要進行歸一化處理 Batch_size:64 #一次迭代多少個樣本 Layer {data} # 兩個數據層，一個訓練層，一個驗證層 Layer { Conv1 }需要注意的是：
1. 最后全連接輸出，時候你是幾分類，就要填幾：
多分類數量就看訓練時候的分類個數。
inner_product_param {
num_output: 2 weight_filler { type: "gaussian" std: 0.012. 自己定義層的時候
需要自己寫不同的層，c++自己寫，挺麻煩的
3. 圖片尺寸
圖片尺寸是根據網絡來定義的，大型網絡都是227*227（224*224），VGG，ALEX都是這樣，譬如lenet小網絡就可以用28*28
4. batch的作用
Batch越大越好，一般64.小的話，可以更好地顯示，小步迭代
3、模型執行文件train.sh
執行文件就是訓練好之后，你要在linux下運行的文件。
./build/tools/caffe train \
# caffe這個工具在哪，一般就在tool之下
-gpu 0 \ # 不必須，是否用GPU，譬如你有很多塊GPU，每塊都有編號，那么就可以直接選擇某一塊GPU。其中如果你有四塊GPU，那么就可以-gpu all -model path/to/trainval.prototxt \ # 不必須，因為后面有solver參數文件，而參數文件里面有trainval.prototxt文件，一般都不用寫 -solver path/to/solver.prototxt \ # 必須，prototxt文件內容在哪 -weights path/to/pretrained_weights.caffemodel # 不必須，-weight用來做fine-tuning，參數拿來學習。這個在fine-tuning時候用得上 --snapshot=examples/imagenet/myself/model/caffenet_train_1000.solverstate # 如果斷了，這時候就可以用快照繼續訓練啦~ 只要在執行文件中加入snapshot的路徑
其中snapshot可是大殺器，筆者覺得有兩個用途：
- 1、臨時停機了…機器訓練中斷了…
訓練的時候是遵循snapshot每10000次生成一次快照，如果停機就可以繼續延續上次的內容繼續訓練，再寫一遍這個文件即可。 - 2、要fine-tuning別人的模型，則需要先down他們的模型快照，然后繼續訓練，繼續訓練的時候可以讓學習率降低到很小，把全連接層可以稍微分一下。
4、驗證集文件：deploy.prototxt
這個文件是預測的時候需要用到的，跟參數trian_val.prototxt訓練文件很相似。
train_val.prototxt文件=數據輸入+卷積層+全連接層+loss/accuracy
Deploy.prototxt文件=簡化版數據輸入+卷積層+全連接層+prob預測層
其他真的不用改動。train_val的ImageData輸入層，需要修改為input層。
就拿AlexNet來說，不同之處在數據輸入部分+最后鏈接層
- Deploy.prototxt的數據輸入部分：
layer {
name: "data" type: "Input" top: "data" input_param { shape: { dim: 10 dim: 3 dim: 227 dim: 227 } } }
其中input_param中的參數意義為：
**第一個：**dim，對待識別樣本圖片進行數據增廣的數量，一個圖片會變成10個，之后輸入到網絡進行識別。如果不進行數據增廣，可以設置成1。
第二個：圖片的通道數，一般灰度圖片為單通道，則值為1，如果為非灰度圖3通道圖片則為3。
第三個：圖片的高度，單位像素。
第四個：圖片的寬度，單位像素。
內容來源於：caffe生成lenet-5的deploy.prototxt文件
- Deploy.prototxt的全連接prob部分：
layer { name: "prob" type: "Softmax" bottom: "fc8" top: "prob" }
輸出的是概率值，參數trian_val.prototxt集合中全連接層之后鏈接的是loss/accuracy。可以看出訓練集要求的主要內容是輸出loss/accuracy，衡量訓練精度；而驗證集文件，主要就是將圖片分類輸出出來。
二、訓練完之后如何測試新數據
官方案例案例鏈接ipynb格式:打開鏈接
1、如何將mean.binaryproto轉mean.npy
由於驗證的時候需要在python下，驗證新圖片的時候，是先讀入然后減去均值，這時候均值就需要一個python可以理解的版本。
網絡上有博客總結兩種方法（博客:Caffe均值文件mean.binaryproto轉mean.npy）：mean.binaryproto轉mean.npy、已知均值情況下用均值創建
（1）mean.binaryproto 轉化
使用Caffe的C++接口進行操作時，需要的圖像均值文件是pb格式，例如常見的均值文件名為mean.binaryproto；但在使用Python接口進行操作時，需要的圖像均值文件是numpy格式，例如mean.npy。所以在跨語言進行操作時，需要將mean.binaryproto轉換成mean.npy，轉換代碼如下：
import caffe
import numpy as np MEAN_PROTO_PATH = 'mean.binaryproto' # 待轉換的pb格式圖像均值文件路徑 MEAN_NPY_PATH = 'mean.npy' # 轉換后的numpy格式圖像均值文件路徑 blob = caffe.proto.caffe_pb2.BlobProto() # 創建protobuf blob data = open(MEAN_PROTO_PATH, 'rb' ).read() # 讀入mean.binaryproto文件內容 blob.ParseFromString(data) # 解析文件內容到blob array = np.array(caffe.io.blobproto_to_array(blob))# 將blob中的均值轉換成numpy格式，array的shape （mean_number，channel, hight, width） mean_npy = array[0] # 一個array中可以有多組均值存在，故需要通過下標選擇其中一組均值 np.save(MEAN_NPY_PATH ,mean_npy)
（2）已知圖像均值，構造mean.npy
如果已知圖像中每個通道的均值，例如3通道圖像每個通道的均值分別為104，117，123，我們也可以通過其構造mean.npy。代碼如下：
import numpy as np MEAN_NPY_PATH = 'mean.npy' mean = np.ones([3,256, 256], dtype=np.float) mean[0,:,:] = 104 mean[1,:,:] = 117 mean[2,:,:] = 123 np.save(MEAN_NPY, mean)
（3）如何加載mean.npy文件
上面我們用兩種方式構造了均值文件mean.npy，在使用時載入mean.npy的代碼如下：
import numpy as np
mean_npy = np.load(MEAN_NPY_PATH) mean = mean_npy.mean(1).mean(1)
2、利用python做預測
（1）模塊加載與設置環境
#加載模塊與圖像參數設置 import numpy as np import matplotlib.pyplot as plt plt.rcParams['figure.figsize'] = (10, 10) # large images plt.rcParams['image.interpolation'] = 'nearest' # don't interpolate: show square pixels plt.rcParams['image.cmap'] = 'gray' #模型路徑deploy import caffe import os caffe.set_mode_cpu() model_def = caffe_root + 'examples/faceDetech/deploy.prototxt' model_weights = caffe_root + 'examples/faceDetech/alexnet_iter_50000_full_conv.caffemodel' #模型加載 net = caffe.Net(model_def, # defines the structure of the model model_weights, # contains the trained weights caffe.TEST)
其中如何你沒有訓練好的模型那么caffe官方有一套，利用imagenet圖片和caffenet模型訓練好了一個caffemodel, 供大家下載。要進行圖片的分類，這個caffemodel是最好不過的了。下載地址為：http://dl.caffe.berkeleyvision.org/bvlc_reference_caffenet.caffemodel
或者命令行下載：
# sudo ./scripts/download_model_binary.py models/bvlc_reference_caffenet（2）模型預處理階段-不處理均值的情況
transformer = caffe.io.Transformer({'data': net.blobs['data'].data.shape}) # 那么reshape操作，就是自動將驗證圖片進行放縮 transformer.set_transpose('data', (2,0,1)) # move image channels to outermost dimension # transpose將RGB變為BGR,都要做transpose # BGR誰放在前面，譬如3*300*100，這里設定3在前面 transformer.set_raw_scale('data', 255) # rescale from [0, 1] to [0, 255] # 像素點rescale操作，將數據的像素點集中在[0,255]區間內 transformer.set_channel_swap('data', (2,1,0)) # CPU classification net.blobs['data'].reshape(50, # batch size 3, # 3-channel (BGR) images 227, 227)
（3）單張新圖片處理與識別
image = caffe.io.load_image("/caffe/data/trainlmdb/val/test_female/image_00010.jpg") # 導入圖片 transformed_image = transformer.preprocess('data', image) # 預處理圖片 output = net.forward() # 前向傳播一次，找出參數 net.blobs['data'].data[...] = transformed_image output_prob = output['prob'][0] # 輸出概率 print 'predicted class is:', output_prob.argmax() # 輸出最大可能性筆者訓練的一個二分類結果是：
array([ 0.34624347, 0.65375656], dtype=float32)
轉載：三、多張訓練循環讀取
本節主要參考博客：Caffe學習系列(20)：用訓練好的caffemodel來進行分類
在caffe根目錄下的 examples/cpp-classification/
文件夾下面，有個classification.cpp文件，就是用來分類的。當然編譯后，放在/build/examples/cpp_classification/
下面
數據准備好了，我們就可以開始分類了，我們給大家提供兩個版本的分類方法：
一、c++方法
在caffe根目錄下的 examples/cpp-classification/ 文件夾下面，有個classification.cpp文件，就是用來分類的。當然編譯后，放在/build/examples/cpp_classification/ 下面
我們就直接運行命令：
# sudo ./build/examples/cpp_classification/classification.bin \ models/bvlc_reference_caffenet/deploy.prototxt \ models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel \ data/ilsvrc12/imagenet_mean.binaryproto \ data/ilsvrc12/synset_words.txt \ examples/images/cat.jpg
命令很長，用了很多的\符號來換行。可以看出，從第二行開始就是參數，每行一個，共需要4個參數
運行成功后，輸出top-5結果：
---------- Prediction for examples/images/cat.jpg ---------- 0.3134 - "n02123045 tabby, tabby cat" 0.2380 - "n02123159 tiger cat" 0.1235 - "n02124075 Egyptian cat" 0.1003 - "n02119022 red fox, Vulpes vulpes" 0.0715 - "n02127052 lynx, catamount"
即有0.3134的概率為tabby cat, 有0.2380的概率為tiger cat ……
二、python方法
python接口可以使用jupyter notebook來進行可視化操作，因此推薦使用這種方法。
在這里我就不用可視化了，編寫一個py文件，命名為py-classify.py
#coding=utf-8 #加載必要的庫 import numpy as np import sys,os #設置當前目錄 caffe_root = '/home/xxx/caffe/' sys.path.insert(0, caffe_root + 'python') import caffe os.chdir(caffe_root) net_file=caffe_root + 'models/bvlc_reference_caffenet/deploy.prototxt' caffe_model=caffe_root + 'models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel' mean_file=caffe_root + 'python/caffe/imagenet/ilsvrc_2012_mean.npy' net = caffe.Net(net_file,caffe_model,caffe.TEST) transformer = caffe.io.Transformer({'data': net.blobs['data'].data.shape}) transformer.set_transpose('data', (2,0,1)) transformer.set_mean('data', np.load(mean_file).mean(1).mean(1)) transformer.set_raw_scale('data', 255) transformer.set_channel_swap('data', (2,1,0)) im=caffe.io.load_image(caffe_root+'examples/images/cat.jpg') net.blobs['data'].data[...] = transformer.preprocess('data',im) out = net.forward() imagenet_labels_filename = caffe_root + 'data/ilsvrc12/synset_words.txt' labels = np.loadtxt(imagenet_labels_filename, str, delimiter='\t') top_k = net.blobs['prob'].data[0].flatten().argsort()[-1:-6:-1] for i in np.arange(top_k.size): print top_k[i], labels[top_k[i]]執行這個文件，輸出：
281 n02123045 tabby, tabby cat 282 n02123159 tiger cat 285 n02124075 Egyptian cat 277 n02119022 red fox, Vulpes vulpes 287 n02127052 lynx, catamount
caffe開發團隊實際上也編寫了一個python版本的分類文件，路徑為 python/classify.py
運行這個文件必需兩個參數，一個輸入圖片文件，一個輸出結果文件。而且運行必須在python目錄下。假設當前目錄是caffe根目錄，則運行：
# cd python # sudo python classify.py ../examples/images/cat.jpg result.npy
分類的結果保存為當前目錄下的result.npy文件里面，是看不見的。而且這個文件有錯誤，運行的時候，會提示
Mean shape incompatible with input shape
的錯誤。因此，要使用這個文件，我們還得進行修改：
1、修改均值計算：
定位到
mean = np.load(args.mean_file)這一行，在下面加上一行：
mean=mean.mean(1).mean(1)則可以解決報錯的問題。
2、修改文件，使得結果顯示在命令行下：
定位到
# Classify.
start = time.time() predictions = classifier.predict(inputs, not args.center_only) print("Done in %.2f s." % (time.time() - start))
這個地方，在后面加上幾行，如下所示：
# Classify.
start = time.time() predictions = classifier.predict(inputs, not args.center_only) print("Done in %.2f s." % (time.time() - start)) imagenet_labels_filename = '../data/ilsvrc12/synset_words.txt' labels = np.loadtxt(imagenet_labels_filename, str, delimiter='\t') top_k = predictions.flatten().argsort()[-1:-6:-1] for i in np.arange(top_k.size): print top_k[i], labels[top_k[i]]
就樣就可以了。運行不會報錯，而且結果會顯示在命令行下面。
.
延伸一：caffe中網絡結構可視化
還有一個是python下面的接口，draw_net.py可以根據.prototxt文件將模式用圖示的方法表示出來，博文開始的模型圖即用該接口所繪
./python/draw_net.py ./examples/siamese/mnist_siamese.prototxt ./examples/siamese/mnist_siamese.png #使用該接口進行網絡的繪制示例化
第一個參數為模型文件，第二個參數為所繪模型圖的保存地址。參考博客：Caffe使用step by step：caffe框架下的基本操作和分析