黄花深巷， 红叶低窗， 凄凉一片秋声。 豆雨声来， 中间夹带风声。 疏疏二十五点， 丽谯门、不锁更声。 故人远， 问谁摇玉佩， 檐底铃声。 彩角声吹月堕， 渐连营马动， 四起笳 ...

摘要 本篇文章介绍了如何上手使用 Triton，本文将使用 Pytorch 导出 Resnet50 模型，将其部署到 Triton。Resnet50 是一个预训练模型，我们可以直接使用它预训练时的任 ...

Python Backend Triton 提供了 pipeline 的功能，但是 Triton 的 pipeline 只能将输入和输出串联到一起，太过于简单静态了，不支持控制流，比如循环、判断等， ...

Triton Inference Server 定位 在接触了一段时间的 Triton 之后，我认为它的定位在于模型服务，即它的主要职责和服务紧密相关，服务中常见的需求它需要做处理。比如 Ba ...

前言 这段时间一直在学习如何使用 Triton，期间也是一直在尝试构建 Triton Inference Server。这构建的过程感觉特别的痛苦，一方面是网络问题导致的构建速度慢、构建失败的问题， ...

Triton 搭建 ensemble 过程记录 本文记录 Triton ensemble 搭建的过程，在 Triton 这个特性叫做 ensemble，但是这个特性叫做 pipeline 更为常见， ...

如何实现一个 backend 这篇文章主要讲如何实现一个 Triton Backend，以 Pytorch Backend 为例子。 Backend API 我们需要实现两个类来存储状态以及七个 ...

Model Warmup 的设置 这一篇非常简单，就是记录 Model Warmup 是如何使用的。本来是为了解决第一次推理太慢的问题，后来发现其实不适用 Model Warmup。不过都已经手写了 ...

Q&A 问题：按照下面配置 Preferred Batch Sizes，如果此时 requests 有 7 个，那么会发送多少个给 backend 呢？ 回答：看文档中的表述，应 ...

介绍 本文对 tritonserver 的命令行参数做了简要的介绍，本文将 tritonserver 的各个参数做了分类，相关的参数会聚集在一起，看着会更加清晰一点。 其实，你只要输入 /opt/ ...