移動端深度學習推理框架總結

移動端深度學習推理框架

框架	公司	支持硬件	特性	相關資源
TensorFlow Lite	Google 2017	CPU GPU: android基於OpenGL, IOS基於Metal	app內核優化,pre-fused激活,更快更小模型定量化	https://tensorflow.google.cn/lite/performance/gpu_advanced?hl=zh-cn https://tensorflow.google.cn/lite/ https://github.com/amitshekhariitbhu/Android-TensorFlow-Lite-Example
Core ML	Apple 2017	IOS(Accelerate(CPU)/Metal(GPU))	Core ML 在設備端可以利用用戶數據進行重新訓練或優化。	https://developer.apple.com/documentation/coreml https://github.com/likedan/Awesome-CoreML-Models https://developer.apple.com/cn/documentation/coreml/#overview
Caffe2	Facebook 2017	IOS,Android CPU	GPU暫無資料，針對具有NEON指令的ARM CPU進行優化， 其性能超過iphone6的GPU優化的。	https://github.com/facebookarchive/caffe2  https://caffe2.ai/docs/zoo.html  https://github.com/caffe2/models
NCNN	Tencnet 2017	Android: CPU/GPU 32/ 64bit都支持 IOS: CPU 32/64bit GPU 64 bit	支持全平台，主要針對手機端進行極致的優化，無第三方依賴庫，但算子支持相對較少。	https://github.com/Tencent/ncnn https://github.com/BUG1989/caffe-int8-convert-tools.git
Paddle-Mobile	Baidu  2017	Android: CPU GPU基於OpenCL	僅支持Android	https://github.com/PaddlePaddle/paddle-mobile https://github.com/PaddlePaddle/Paddle
QNNPACK/NNPACK (加速庫)	Facebook	Android / IOS	主要針對卷積計算進行加速處理，armeabi-v7a需要CPU支持NEON指令,暫無GPU信息	https://github.com/pytorch/QNNPACK https://zhuanlan.zhihu.com/p/81026071 https://github.com/Maratyszcza/NNPACK
MACE	XIAOMI 2018	支持Android / IOS CPU，GPU	底層算子基於OpenCL實現	https://github.com/XiaoMi/mace https://github.com/XiaoMi/mace-models https://mace.readthedocs.io/en/latest/chinese.html
MNN	阿里 2019	Android / IOS (CPU / GPU)	通用性較好，算子支持性好	https://github.com/alibaba/MNN
TNN	Tencent   2020	Android / IOS (ARM CPU /GPU / NPU)	主要針對於移動端，基於NCNN開發，性能移動端略優於MNN。	https://github.com/Tencent/TNN
tengine	ARM中國	CPU/GPU/AIPU/DSP/FPGA	適配所有硬件	http://www.tengine.org.cn/ https://github.com/OAID/Tengine
computelibrary	ARM	CPU/GPU	基於OpenCL對Mail GPU加速，基於Neon的方式對A系列CPU進行加速	https://github.com/ARM-software/ComputeLibrary https://www.arm.com/why-arm/technologies/compute-library
D2GO	FACEBOOK		深度學習工具包包含檢測，關鍵點預測，實例分割	https://github.com/facebookresearch/d2go https://ai.facebook.com/blog/d2go-brings-detectron2-to-mobile/