Tensor RT的介紹在此不做贅述。
自己在服務器上本打算裝Tensor RT來着，不過過程很艱辛，最后發現服務器的cudnn版本偏低了，還需要升級cudnn的版本。故，在自己的電腦上了裝了下Tensor RT，同時給自己的電腦將cudnn的版本從7.4升級到了7.5，並跑通了基本的例程。
下面對於Tensor RT的學習進行介紹。
在英偉達的官網上，有幾個文檔，
第一個是支持的Matrix運算，就是各種已經支持的層，對於不同的開發框架如Caffe、ONNX等，支持的層可能會有不同。
https://developer.download.nvidia.cn/compute/machine-learning/tensorrt/docs/5.1/rc/TensorRT-Support-Matrix-Guide.pdf
第二個安裝的文檔，第三個是版本記錄，第四個是開發手冊，第五個是如何去優化TensorRT的表現，第六個是配套的各種example的使用教程。
開發文檔主要內容
現在看的是TensorRT5，幾個文檔中最重要的是開發文檔。
在Windows下，現在是用不了Python API的，所以主要看的是C++的API。C++ API部分主要講的內容有：
1、創建網絡定義（可以自己定義，可以從Caffe、TF、ONNX導入模型）
2、Building An Engine
3、序列化該模型
4、執行前向
5、內存管理
6、Refitting An Engine
其余的部分是：擴展Tnesor RT 用自定義(Custom) layer、混合精度使用。
視頻：https://yq.aliyun.com/video/play/1381?utm_content=m_45632&do=login