Python Backend Triton 提供了 pipeline 的功能，但是 Triton 的 pipeline 只能将输入和输出串联到一起，太过于简单静态了，不支持控制流，比如循环、判断等，模型和模型之间的数据格式不灵活，只能是向量。pipeline 太死板了，有没有办法支持更加灵活 ...

Model Warmup 的设置 这一篇非常简单，就是记录 Model Warmup 是如何使用的。本来是为了解决第一次推理太慢的问题，后来发现其实不适用 Model Warmup。不过都已经手写了 ...

前言 这段时间一直在学习如何使用 Triton，期间也是一直在尝试构建 Triton Inference Server。这构建的过程感觉特别的痛苦，一方面是网络问题导致的构建速度慢、构建失败的问题，另一方面是 Triton 提供的构建脚本在我这儿并不有效，需要自己想一个办法。 按照官方的文档 ...

Rate Limiter 这篇文章记录 Rate Limter 的使用方法，主要来自于文档。 从效果上来说，Rate Limiter 的作用是限制了请求分发到模型实例上。从实现上来说，Rate Limiter 引入了 “Resource” 的概念，表示一个模型实例需要的资源，当系统中存在足够 ...

简介 Agent 扩展了 Triton 在加载卸载 “模型” 时候的功能。比如可以在加载模型的时候，进行 md5 校验。 agent 的使用非常简单，就在模型的配置文件后面加上以下的配置就好了。对的，就是这么简单。这是英伟达的例子，使用了 checksum agent，在模型加载的时候会校验 ...

Triton Inference Server 定位 在接触了一段时间的 Triton 之后，我认为它的定位在于模型服务，即它的主要职责和服务紧密相关，服务中常见的需求它需要做处理。比如 Batching，Sequence，Pipeline 等，再比如模型仓库的管理，模型后端引擎的管理 ...

Triton 搭建 ensemble 过程记录 本文记录 Triton ensemble 搭建的过程，在 Triton 这个特性叫做 ensemble，但是这个特性叫做 pipeline 更为常见，后面就叫 pipeline 吧。首先要说明的是，本文中的例子只是为了试试看 Triton ...

摘要 本篇文章介绍了如何上手使用 Triton，本文将使用 Pytorch 导出 Resnet50 模型，将其部署到 Triton。Resnet50 是一个预训练模型，我们可以直接使用它预训练时的任务，即图像分类。部署好了之后，会介绍如何使用 Python 客户端进行请求，客户端发送一张图片 ...