本文主要描述了NCNN中的量化工具操作過程,首先NCNN的量化工具包含兩部分,ncnn2table和ncnn2int8;
在進行ncnn2int8量化過程之前需要進行ncnn2table操作,生成量化表;
下面首先介紹量化表的生成步驟:
一、ncnn2table生成量化表
1、首先准備工作,參考NCNN深度學習框架之Optimize優化器
2、終端進入ncnn/build/tools/quantize目錄
3、./ncnn2table --image imagepath --param parampath --bin binpath --output newModel.table
- 注:在執行命令時,在后面還可以添加mean, norm, size, thread參數,這邊工具里已設為默認,就沒有修改;
- 注:這里的image指的是圖片集,並且是圖片數量較多的圖片集;
4、執行命令后,即可看見原文件目錄下生成newModel.table的量化表
二、ncnn2int8量化網絡模型
1、執行可執行文件ncnn2table,生成量化表
2、終端進入ncnn/build/tools/quantizw目錄
3、./ncnn2int8 [inparam] [inbin] [outparam] [outbin] [calibration table]
4、執行命令后,即可在原文件目錄下生成param和bin的輸出文件(即進行int8量化后的ncnn模型)