安裝部署NVIDIA TensorRT

下載文件

https://developer.nvidia.com/nvidia-tensorrt-download

用tensorrt-5 為例

下載對應的tar包即可

• TensorRT 5.1.5.0 GA for Ubuntu 18.04 and CUDA 10.1 tar package

解壓包

tar xzvf TensorRT-5.1.5.0.Ubuntu-18.04.2.x86_64-gnu.cuda-10.1.cudnn7.5.tar.gz

配置環境變量

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/root/TensorRT-5.1.5.0/lib

裝TensorRT

cd /root/TensorRT-5.1.5.0

選擇對應版本的python安裝

pip install python/tensorrt-5.1.5.0-cp36-none-linux_x86_64.whl

# 安裝UFF,支持tensorflow模型轉化 。按需裝即可

pip install  uff/uff-0.6.3-py2.py3-none-any.whl

安裝graphsurgeon，支持自定義結構

pip install graphsurgeon/graphsurgeon-0.4.1-py2.py3-none-any.whl

復制rt的頭文件和庫文件到系統，有些軟件會依賴這些

1. sudo cp -r ./lib/* /usr/lib

2. sudo cp -r ./include/* /usr/include

編譯測試文件

(openpose) root@ai:~/TensorRT-5.1.5.0# cd samples/
(openpose) root@ai:~/TensorRT-5.1.5.0/samples# make

(openpose) root@ai:~/TensorRT-5.1.5.0/bin# ./sample_int8 mnist

python導入測試即可

python -c "import tensorrt"