NCNN簡介
ncnn 是一個為手機端極致優化的高性能神經網絡前向計算框架。ncnn 從設計之初深刻考慮手機端的部署和使用。無第三方依賴，跨平台，手機端 cpu 的速度快於目前所有已知的開源框架。基於 ncnn，開發者能夠將深度學習算法輕松移植到手機端高效執行，開發出人工智能 APP，將 AI 帶到你的指尖。ncnn 目前已在騰訊多款應用中使用，如 QQ，Qzone，微信，天天P圖等。
關於安裝、編譯、使用步驟等不在贅述，官網有很詳細文檔
| Windows | Linux | MacOS | Android | iOS | |
|---|---|---|---|---|---|
| intel-cpu | ✔️ | ✔️ | ✔️ | ❔ | / |
| intel-gpu | ✔️ | ✔️ | ❔ | ❔ | / |
| amd-cpu | ✔️ | ✔️ | ✔️ | ❔ | / |
| amd-gpu | ✔️ | ✔️ | ❔ | ❔ | / |
| nvidia-gpu | ✔️ | ✔️ | ❔ | ❔ | / |
| qcom-cpu | ❔ | ✔️ | / | ✅ | / |
| qcom-gpu | ❔ | ✔️ | / | ✔️ | / |
| arm-cpu | ❔ | ❔ | / | ✅ | / |
| arm-gpu | ❔ | ❔ | / | ✔️ | / |
| apple-cpu | / | / | / | / | ✅ |
| apple-gpu | / | / | / | / | ✔️ |
NCNN注意事項
其實ncnn已經是一個完整的庫，很少有人去改源碼，當然如果你項目特別需要使可以的。
使用出現問題主要是輸入和輸出的地方不對應，以下是本人使用出現的問題。
- 網絡問題一
使用caffe模型的時候，input部分一定要寫成規范格式：
input: "data"
layer {
name: "data"
type: "Input"
top: "data"
input_param { shape: { dim: 1 dim: 1 dim: 256 dim: 512 } }
}
千萬別圖省事寫成如下格式，caffe可以運行沒問題，但是轉化無法識別，這個ncnn數據結構導致！！！
input: "data"
input_dim: 1
input_dim: 1
input_dim: 256
input_dim: 512
- 網絡問題二
網絡定義的層千萬別出現重復情況，一定要規范定義：
layer {
name: "AAAA"
type: "Concat"
bottom: "box_softmax"
bottom: "conv6_2"
top: "concat_out1"
concat_param {
axis: 2
}
}
layer {
name: "BBBB"
type: "Concat"
bottom: "box_softmax"
bottom: "concat_out1"
top: "concat_out2"
concat_param {
axis: 2
}
}
千萬別寫成如下網絡，在caffe可以穩定運行，但是ncnn會讀取上第一次出現的top層！！！
第一層輸出是concat_out1,第二層輸出也是concat_out1，當使用ncnn.extract會出現錯誤！！！
layer {
name: "AAAA"
type: "Concat"
bottom: "box_softmax"
bottom: "conv6_2"
top: "concat_out1"
concat_param {
axis: 2
}
}
layer {
name: "BBBB"
type: "Concat"
bottom: "box_softmax"
bottom: "concat_out1"
top: "concat_out1"
concat_param {
axis: 2
}
}
- NCNN網絡問題三
這貌似是算作caffe的問題，在筆者使用的過程忽略了這一點，干脆算NCNN操作里面了。
Batch Normalization層有個use_global_stats參數，這個操作的作用是：是否使用caffe內部的均值和方差
換句話的意思就是:
---------true ：使用caffe內部的均值和方差，其中方差和均值都是固定的，模型訓練好之后，這兩個值就固定了。
---------false ：使用當前層計算的方差和均值，這個是不固定的，是在訓練過程一直改變，訓練好的時候達到最優。
其中NCNN默認使用true狀態，不管是false還是true，最終都是算作true
caffe測試的時候得手動設置為true
- NCNN輸入數據一
正常來說ncnn和caffe原版的誤差范圍在0.001左右，我的數據在0.000X范圍徘徊，如果你的數據精確不到第三個有效數字，那就得檢查網絡輸入精度了。
輸入的substract_mean_normalize得盡量精確，尤其是歸一化的值！！！
假設0-255的圖像需要歸一化到0-1：
const float noml_vals[1] = { 0.0078431372549019607843137254902f };
千萬不要寫成下面這樣，讀者可以自己測試，精度差別較大。
const float noml_vals[1] = { 0.0078 }
- NCNN輸入數據二
這里沒有錯誤點，只有心得點。
- 如果輸入的是opencv的Mat對象，那只能是CV_8U類型，別想着去使用CV_32F等其他類型，對結果沒有影響的。
- 關於使用opencv的處理圖像和ncnn的處理圖像效果一樣，比如opencv的resize、normalize、cvtcolor等函數，和ncnn的from_pixels_resize、substract_mean_normalize效果基本沒有區別，本人已經測試。
NCNN使用心得
小技巧
- 輸出為多層
看了NCNN的官網給的例子，它是將輸出轉化為一行數據，然后一個一個的進行處理：
ncnn::Mat out_flatterned = out.reshape(out.w * out.h * out.c);
std::vector<float> scores;
scores.resize(out_flatterned.w);
for (int j=0; j<out_flatterned.w; j++)
{
scores[j] = out_flatterned[j];
}
個人感覺使用這種處理小數據還是可以的，本人使用網絡輸出100 × 100 × 10，這種情況該如何處理？
- 你可以使用那種方法去一個一個保存到數組，就是浪費點時間。
- 當你需要處理結果的時候呢？比如簡單說去找每個channels的最大值，且主要知道坐標？
本人使用處理如下：
for (size_t i = 0; i < out.c; i++)
{
cv::Mat cv_mat = cv::Mat::zeros(cv::Size(100, 100), CV_8UC1);
ncnn::Mat ppp = out.channel(i);
//轉化為opencv的Mat進行操作，因為有很多矩陣運算就很方便
ppp.to_pixels(cv_mat.data, ncnn::Mat::PIXEL_GRAY);
double max_c = 0, min_c = 0;
cv::Point min_loc, max_loc;
cv::minMaxLoc(cv_mat, &min_c, &max_c, &min_loc, &max_loc);
/*---------------后續操作-----------------*/
}
小想法
NCNN官網有個人問能不能輸入和輸出多個通道數據，后者已經在上文實現，以下看前者。
-
NCNN的輸入為
Extractor.input(const char* blob_name, const Mat& in),其中in是ncnn::Mat類型數據，顯然是可以多個channels輸入的。
-
可以使用ncnn創建
100×100×10數據，然后對每個channel通過from_pixel進行賦值操作即可。
沒有經過具體實現，官網也沒說明，不清楚能不能行，讀者可以根據以上自己嘗試。