黃花深巷， 紅葉低窗， 凄涼一片秋聲。 豆雨聲來， 中間夾帶風聲。 疏疏二十五點， 麗譙門、不鎖更聲。 故人遠， 問誰搖玉佩， 檐底鈴聲。 彩角聲吹月墮， 漸連營馬動， 四起笳 ...

摘要 本篇文章介紹了如何上手使用 Triton，本文將使用 Pytorch 導出 Resnet50 模型，將其部署到 Triton。Resnet50 是一個預訓練模型，我們可以直接使用它預訓練時的任 ...

Python Backend Triton 提供了 pipeline 的功能，但是 Triton 的 pipeline 只能將輸入和輸出串聯到一起，太過於簡單靜態了，不支持控制流，比如循環、判斷等， ...

Triton Inference Server 定位 在接觸了一段時間的 Triton 之后，我認為它的定位在於模型服務，即它的主要職責和服務緊密相關，服務中常見的需求它需要做處理。比如 Ba ...

前言 這段時間一直在學習如何使用 Triton，期間也是一直在嘗試構建 Triton Inference Server。這構建的過程感覺特別的痛苦，一方面是網絡問題導致的構建速度慢、構建失敗的問題， ...

Triton 搭建 ensemble 過程記錄 本文記錄 Triton ensemble 搭建的過程，在 Triton 這個特性叫做 ensemble，但是這個特性叫做 pipeline 更為常見， ...

如何實現一個 backend 這篇文章主要講如何實現一個 Triton Backend，以 Pytorch Backend 為例子。 Backend API 我們需要實現兩個類來存儲狀態以及七個 ...

Model Warmup 的設置 這一篇非常簡單，就是記錄 Model Warmup 是如何使用的。本來是為了解決第一次推理太慢的問題，后來發現其實不適用 Model Warmup。不過都已經手寫了 ...

Q&A 問題：按照下面配置 Preferred Batch Sizes，如果此時 requests 有 7 個，那么會發送多少個給 backend 呢？ 回答：看文檔中的表述，應 ...

介紹 本文對 tritonserver 的命令行參數做了簡要的介紹，本文將 tritonserver 的各個參數做了分類，相關的參數會聚集在一起，看着會更加清晰一點。 其實，你只要輸入 /opt/ ...