我不會用 Triton 系列：Python Backend 的使用
Python Backend Triton 提供了 pipeline 的功能，但是 Triton 的 pipeline 只能將輸入和輸出串聯到一起，太過於簡單靜態了，不支持控制流，比如循環、判斷等，模型和模型之間的數據格式不靈活，只能是向量。pipeline 太死板了，有沒有辦法支持更加靈活 ...
原文：我不會用 Triton 系列：Model Warmup 的使用
Model Warmup 的設置 這一篇非常簡單，就是記錄 Model Warmup 是如何使用的。本來是為了解決第一次推理太慢的問題，后來發現其實不適用 Model Warmup。不過都已經手寫了 protobuf 了，官方的例子還藏在測試的 .sh 文件中，為了方便后續使用，就寫一篇來做記錄好了。 模型配置 其實就是看着 protobuf 的定義文件 將模型配置寫出來。 手寫 protobuf ...
2021-11-11 10:56 0 2051 推薦指數：
相關推薦
我不會用 Triton 系列：Rate Limiter 的使用
Rate Limiter 這篇文章記錄 Rate Limter 的使用方法，主要來自於文檔。 從效果上來說，Rate Limiter 的作用是限制了請求分發到模型實例上。從實現上來說，Rate Limiter 引入了 “Resource” 的概念，表示一個模型實例需要的資源，當系統中存在足夠 ...
我不會用 Triton 系列：Agent 的使用
簡介 Agent 擴展了 Triton 在加載卸載 “模型” 時候的功能。比如可以在加載模型的時候，進行 md5 校驗。 agent 的使用非常簡單，就在模型的配置文件后面加上以下的配置就好了。對的，就是這么簡單。這是英偉達的例子，使用了 checksum agent，在模型加載的時候會校驗 ...
我不會用 Triton 系列：Stateful Model 學習筆記
Stateful Models 學習筆記 在 Triton Architecture 的文檔中，有一個令我困惑了許久的 feature：Stateful Models。如果你也看不太懂的話，並且想知道或必須知道它是什么東西的話，不妨看看這一篇學習筆記，看看能不能對你有所幫助。下面是我的一點粗淺 ...
我不會用 Triton 系列：如何實現一個 backend
如何實現一個 backend 這篇文章主要講如何實現一個 Triton Backend，以 Pytorch Backend 為例子。 Backend API 我們需要實現兩個類來存儲狀態以及七個 Backend API。 ModelState ModelInstanceState ...
我不會用 Triton 系列：構建 Triton Server 過程記錄
前言 這段時間一直在學習如何使用 Triton，期間也是一直在嘗試構建 Triton Inference Server。這構建的過程感覺特別的痛苦，一方面是網絡問題導致的構建速度慢、構建失敗的問題，另一方面是 Triton 提供的構建腳本在我這兒並不有效，需要自己想一個辦法。 按照官方的文檔 ...
我不會用 Triton 系列：Triton Inference Server 簡介
Triton Inference Server 定位 在接觸了一段時間的 Triton 之后，我認為它的定位在於模型服務，即它的主要職責和服務緊密相關，服務中常見的需求它需要做處理。比如 Batching，Sequence，Pipeline 等，再比如模型倉庫的管理，模型后端引擎的管理 ...
我不會用 Triton 系列：Triton 搭建 ensemble 過程記錄
Triton 搭建 ensemble 過程記錄 本文記錄 Triton ensemble 搭建的過程，在 Triton 這個特性叫做 ensemble，但是這個特性叫做 pipeline 更為常見，后面就叫 pipeline 吧。首先要說明的是，本文中的例子只是為了試試看 Triton ...