深度學習推理框架

深度學習框架直接得到的模型太重,在移動端及CPU上直接部署不合適,因此將訓練出的模型通過推理框架部署.
推理框架包括:模型優化器和推理引擎兩部分.

推理框架選擇:

1. 帶GPU的桌面系統，用TensorRt. nvidia自家的，還有量化

2. 手機上選擇，Tvm ,ncnn等arm opencl的優化成果。阿里騰訊，移動端切身所需。需要附加量化工具 (tvm文檔更完整)

3. MAC 、Windows、Linux等沒有GPU桌面系統 用Openvino . intel自家優化x86，有量化

4. 原生 libtensorflow libtorch 都不用！

問題

無論是intel的openvino還是nvidia的TensorRt都不直接提供對pytorch的支持;

解決方案:

pytorch---->onnx--->openvino

pytorch-----torch2trt----->TensorRT(或者pytorch----->onnx----->TensorRT)

https://111qqz.github.io/2020/09/torch2trt/