caffe:使用C++來提取任意一張圖片的特征（從內存讀取數據）

0x00　

　　關於使用C++接口來提取特征，caffe官方提供了一個extract_features.cpp的例程，但是這個文件的輸入是blob數據，即使輸入層使用的是ImageData，也需要在deploy.prototxt中指定圖片的位置，很不方便。

如果想要使用opencv來讀取一個圖片，然后用caffe訓練好的model提取特征，就需要對輸入層進行改寫。另外官方例程默認的輸出是leveldb格式，我們也可以獲取float類型的多維特征（數組），這樣集成到我們的項目中更靈活。

0x01

　　首先我們需要改寫deploy.prototxt的輸入層為"MemoryData"：

layer {
  name: "data"
  type: "MemoryData"
  top: "data"
  top: "label"
  
  memory_data_param{
    batch_size:1
    channels:3
    height:100
    width:100
  }
}

　　在之前的訓練中可能使用的是"ImageData"、"Data"之類的，現在改成MemoryData不影響。

0x02

　　我准備提取的層的名字是"res5_6"，就是"InnerProduct"的前一層，當我想提取"InnerProduct"全連接層的輸出時，總是報錯，提示原始參數和網絡參數不匹配（就是訓練好的model和現在deploy的網絡維度不一樣），所以只好提取前一層了，並且要把全連接層屏蔽掉，屏蔽的方法是把prototxt里相應層的名字改掉就好（相對於caffemodel里面的名字）。[以上問題暫時還沒解決，留坑]

0x03

　　下面是更改之后的 extract_features.cpp的代碼：

#include <stdio.h> 
#include <string>
#include <vector>
#include <iostream>

#include <opencv2/opencv.hpp>
#include "boost/algorithm/string.hpp"
#include "google/protobuf/text_format.h"
#include "caffe/blob.hpp"
#include "caffe/common.hpp"
#include "caffe/net.hpp"
#include "caffe/proto/caffe.pb.h"
#include "caffe/util/io.hpp"
#include "caffe/layers/memory_data_layer.hpp"

#define NetTy float 

using namespace caffe;
using std::cout;
using std::endl;
using std::string;


/* 加載模型函數 */
template <typename Dtype>
caffe::Net<Dtype>* loadNet(std::string param_file, std::string pretrained_param_file, caffe::Phase phase)
{
    caffe::Net<Dtype>* net(new caffe::Net<Dtype>(param_file, phase));

    net->CopyTrainedLayersFrom(pretrained_param_file);

    return net;
}

int main()
{
    cv::Mat src;

    src = cv::imread("face_example/test.jpg"); // 讀取測試圖片
    cv::resize(src, src, cv::Size(100, 100)); // 這里要將圖片resize到prototxt里面的輸入層指定的大小

    caffe::Net<NetTy>* _net = loadNet<NetTy>("face_example/face_deploy.prototxt", "face_example/face.caffemodel", caffe::TEST); // 加載網絡定義文件和參數模型

    caffe::MemoryDataLayer<NetTy> *m_layer = (caffe::MemoryDataLayer<NetTy> *)_net->layers()[0].get(); // 定義個內存數據層指針
    
    std::vector<cv::Mat> dv = { src }; // AddMatVector(const vector<cv::Mat>& mat_vector,const vector<int>& labels)
    std::vector<int> label = { 0 };    // -------------------------------------------------------------------------

    m_layer->AddMatVector(dv, label); // 把圖片和標簽，添加到 MemoryData層

    std::vector<caffe::Blob<NetTy>*> input_vec;  // 無意義，為了函數參數需要
    _net->Forward(input_vec);                    // 執行一次前向計算

    boost::shared_ptr<caffe::Blob<NetTy>> layerData = _net->blob_by_name("res5_6");  // 獲得指定層的輸出

    const NetTy* pstart = layerData->cpu_data(); // res5_6->cpu_data()返回的是多維數據（數組）
                      
    /*-----輸出特征-----*/
    for (int i = 0; i < 30000; i++)
    {
        std::cout << *pstart << endl;

        pstart++;
    }

    return 0;
}