野路子碼農系列（8）我終於大致搞懂了GBDT
由於下下周要在組里介紹一個算法，最近開始提前准備，當初非常自信地寫下自己最喜歡的GBDT，但隨着逐步深入，發現其實自己對這個算法的細節並不是非常了解，了解的只是一些面試題的答案而已……（既然沒有深入了解，又怎么配說最喜歡呢？） 此外，由於野路子的鄙人數學功底不行，對公式的理解非常捉急，故而在本次 ...
原文：野路子碼農系列（9）利用ONNX加速Pytorch模型推斷
最近在做一個文本多分類的模型，非常常規的BERT finetune的套路，考慮到運行成本，打算GPU訓練后用CPU做推斷。 在小破本上試了試，發現推斷速度異常感人，尤其是序列長度增加之后，一條 秒不是夢。 於是只能尋找加速手段，早先聽過很多人提到過ONNX，但從來沒試過，於是就學習了一下，發現效果還挺不錯的，手法其實也很簡單，就是有幾個小坑。 第 步 保存模型 首先得從torch中將模型導出成ON ...
2021-11-04 18:29 1 801 推薦指數：
相關推薦
將模型從 PyTorch 導出到 ONNX 並使用 ONNX Runtime 運行
原文： https://pytorch.org/tutorials/advanced/super_resolution_with_onnxruntime.html 注意 單擊此處的下載完整的示例代碼 在本教程中，我們描述了如何將 PyTorch 中定義的模型轉換為 ONNX 格式 ...
【pytorch基礎】基於訓練的pytorch模型轉換為onnx模型並測試
前言 模型部署的過程中，不同的硬件可能支持不同的模型框架，本文介紹pytorch模型文件轉換為onnx模型文件的實現過程，主要是基於Pytorch_Unet的實現過程，訓練模型轉換為onnx模型，並測試onnx的效果； 操作步驟 1. 基於訓練完成的pth文件轉換為onnx模型； 2. ...
pytorch模型訓練加速tricks
1、學習率設置策略 Pytorch 已經實現了兩種方法：「torch.optim.lr_scheduler.CyclicLR」和「torch.optim.lr_scheduler.OneCycleLR」。參考文檔：https://pytorch.org/docs/stable ...
[Pytorch]基於混和精度的模型加速
這篇博客是在pytorch中基於apex使用混合精度加速的一個偏工程的描述，原理層面的解釋並不是這篇博客的目的，不過在參考部分提供了非常有價值的資料，可以進一步研究。 一個關鍵原則：“僅僅在權重更新的時候使用fp32，耗時的前向和后向運算都使用fp16”。其中的一個技巧是：在反向計算開始前 ...
野路子Java開發的一篇隨筆
園子的朋友們，一年半的時間大家過的還好吧？ 流水它帶走光陰的故事改變了我們，再次的見面我們又歷經了多少的路程，落花流水，冷暖自知，這一年半，關於工作上的關鍵詞只有兩個：加班( ...
模型部署 ONNX ONNX runtim
通常我們在訓練模型時可以使用很多不同的框架，比如有的同學喜歡用 Pytorch，有的同學喜歡使用 TensorFLow，也有的喜歡 MXNet，以及深度學習最開始流行的 Caffe等等，這樣不同的訓練框架就導致了產生不同的模型結果包，在模型進行部署推理時就需要不同的依賴庫，而且同一個框架 ...
Pytorch系列:（三）模型構建
nn.Module 函數詳解 nn.Module是所有網絡模型結構的基類，無論是pytorch自帶的模型，還是要自定義模型，都需要繼承這個類。這個模塊包含了很多子模塊，如下所示，_parameters存放的是模型的參數，_buffers也存放的是模型的參數，但是是那些不需要更新的參數。帶hook ...