一些基础概念
-
Paddle Serving 、Paddle Inference、PaddleHub Serving三者的区别是什么？有什么样的包含关系？
paddle serving是远程服务，即发起预测的设备（手机、浏览器、客户端等）与实际预测的硬件不在一起。paddle inference是一个library，适合嵌入到一个大系统中保证预测效率，paddle serving调用了paddle inference做远程服务。paddlehub serving可以认为是一个demo，后面都会使用paddle serving作为统一预测服务入口。如果在web端交互，一般是调用远程服务的形式，可以使用paddle serving的web service搭建。
*** paddle serving调用了paddle inference做远程服务。
*** serving和inference交互通过百度的RPC框架。
From 飞桨PaddlePaddle官方csdn博客
什么是Paddle Inference原生高性能推理库? 跟主框架的API如model.predict()等接口又是什么关系呢？哪个更原生些?
*** 在这边给大家快速地科普一下：主框架的前向API接口model.predict() 是基于主框架的前向算子进行封装，且直接调用训练好的模型之前向参数，能够快速测试训练完成的模型效果，并将计算后的预测结果返回呈现，通常是用在验证训练成果及做实验时使用。
*** 而一般的企业级部署通常会追求更极致的部署性能，且希望能够在生产环境安装一个不包含后向算子，比主框架更轻量的预测库，Paddle Inference应运而生。Paddle Inference提取了主框架的前向算子，可以无缝支持所有主框架训练好的模型，且通过内存复用、算子融合等大量优化手段，并整合了主流的硬件加速库如Intel的oneDNN、NVIDIA的TensorRT等, 提供用户最极致的部署性能。此外还封装C/C++的预测接口，使生产环境更便利多样。
已经，Paddle2.0时代，优先高版本。
Ref: https://www.paddlepaddle.org.cn/documentation/docs/zh/install/Tables.html#whl-release
| jetpack4.4-cuda10.2-cudnn8-trt7.1.3 | paddlepaddle_gpu-2.1.1-cp36-cp36m-linux_aarch64.whl | - | paddlepaddle_gpu-2.1.1-cp38-cp38-linux_aarch64.whl |
具体实践
PaddleOCR:
车牌识别
PaddleOCR相当于OpenCV里的Sample文件夹。
环境配置好后，使用其中的sample代码去测试gpu版本的代码。