模型加速[tensorflow&tensorrt]
在tensorflow1.8之后的版本中，tensorflow.contrib部分都有tensorrt的组件，该组件存在的意义在于，你可以读取pb文件，并调用tensorrt的方法进行subgraph压缩，其他不能压缩的subgraph依然被tensorflow所处理。这样的操作方式就不 ...
原文：TensorRT模型装换
当前支持的深度学习框架主要有：caffe tensorflow pytorch tensorflow深度学习框架：当前最佳的模型提供形式是pb,这是一种Frozen Graphdef形式的模型文件，Frozen Graphdef 将tensorflow导出的模型的权重都冻结，使得其都变为常量。并且模型参数和网络结构保存在同一个文件中，可以在python以及java中自由调用。 pytorch深度学 ...
2021-10-30 21:32 0 1523 推荐指数：
相关推荐
模型部署之 TensorRT 初步入门
TensorRT 是 NVIDIA 提出的用于统一模型部署的加速器，可以应用于 NVIDIA 自家设计的硬件平台比如 NVIDIA Tesla A100 显卡，JETSON Xavier 开发板等，它的输入可以是来自各个流行的训练框架，比如 Tensorflow, Pytorch 等训练得到的模型 ...
基于TensorRT的YOLO（V3\4\5）模型部署《方案二》
之前写过一个部署方案，即：基于TensorRT的YOLO（V3\4\5）模型部署《方案一》，以下链接 https://www.cnblogs.com/winslam/p/13816143.html 今天尝试的是另一个开源方案，部署环境和之前一样（实际上是我懒得改环境，一波三折，好在测试通过 ...
基于TensorRT的YOLO（V3\4\5）模型部署《方案一》
测试环境： 0、Windows 10 1、OpenCV412 2、CUDA11.0（cuda_11.0.2_451.48_win10.exe） 3、cuDNN8.0 (cudnn-11.0-windows-x64-v8.0.4.30.zip) 4、TensorRT ...
TensorRT 开始
TensorRT 是 NVIDIA 自家的高性能推理库，其 Getting Started 列出了各资料入口，如下： 本文基于当前的 TensorRT 8.2 版本，将一步步介绍从安装，直到加速推理自己的 ONNX 模型。 安装 进 TensorRT 下载页 选择版本下载，需注册登录 ...
模型压缩--剪枝，tensorrt实验调研
https://www.cnblogs.com/yanghailin/p/14213464.html 未经允许不得转载。 最近在搞模型压缩方面的一些东西，初步调研下来感觉要学的，要看的，要实验的很多很多啊，无底洞啊。 这里是初步记录，因为有些东西最近看了，先暂停了一部分工作又去搞 ...