NVIDIA TensorRT：可編程推理加速器
一．概述
NVIDIA TensorRT™是一個用於高性能深度學習推理的SDK。它包括一個深度學習推理優化器和運行時間，為深度學習推理應用程序提供低延遲和高吞吐量。
在推理過程中，基於TensorRT的應用程序執行速度比僅限CPU的平台快40倍。使用TensorRT，可以優化在所有主要框架中訓練的神經網絡模型，以高精度校准較低精度，最后部署到高規模數據中心、嵌入式或汽車產品平台。
TensorRT建立在NVIDIA的並行編程模型CUDA的基礎上，使能夠利用CUDA-X中的庫、開發工具和技術，為人工智能、自動化機器、高性能計算和圖形優化所有深度學習框架的推理。 TensorRT為深度學習推理應用程序（如視頻流、語音識別、推薦和自然語言處理）的生產部署提供INT8和FP16優化。減少的精確推理顯著減少了應用程序延遲，這是許多實時服務、自動和嵌入式應用程序的要求。
可以將每個深度學習框架中經過訓練的模型導入TensorRT。在應用優化后，TensorRT選擇特定於平台的內核，以在數據中心的Tesla gpu、Jetson嵌入式平台和NVIDIA驅動自主駕駛平台上實現性能最大化。
使用TensorRT，開發人員可以專注於創建新的人工智能應用程序，而不是為推理部署進行性能調整。
二．tensorRT開源代碼
鏈接地址：https://github.com/NVIDIA/TensorRT
TensorRT Open Source Software
此存儲庫包含NVIDIA TensorRT的開源軟件（OSS）組件。包括TensorRT插件和解析器（Caffe和ONNX）的源代碼，以及演示TensorRT平台的使用和功能的示例應用程序。
Prerequisites
要構建TensorRT OSS組件，請確保滿足以下包要求：
System Packages
- CUDA
- GNU Make >= v4.1
- CMake >= v3.13
- Python
- PIP >= v19.0
- Essential libraries and utilities
- Jetson平台的交叉編譯需要安裝JetPack的主機組件
- Git, pkg-config, Wget, Zlib
- JetPack >= 4.2
Optional Packages
- Containerized builds
- Code formatting tools
- Docker >= 1.12
- NVIDIA Docker >= 2.0
TensorRT Release
- TensorRT v7.0
注意：除了TensorRT OSS組件外，還將下載以下源包，不需要在系統上安裝。
ONNX-TensorRT v7.0
三．Availability
TensorRT可從TensorRT產品頁免費向NVIDIA開發人員程序的成員提供，以進行開發和部署。最新版本的插件、解析器和示例也可以從TensorRT github存儲庫中以開源方式獲得。開發人員還可以從NGC容器注冊中心在TensorRT容器中獲取TensorRT。TensorRT包括在：
NVIDIA Deepstream SDK，用於計算機視覺和智能視頻分析（IVA）應用程序中的實時流分析。
NVIDIA DRIVE用於NVIDIA DRIVE PX2自主駕駛平台的安裝。
NVIDIA Jetpack for Jetson TX1、TX2嵌入式平台。