野路子码农系列（8）我终于大致搞懂了GBDT
由于下下周要在组里介绍一个算法，最近开始提前准备，当初非常自信地写下自己最喜欢的GBDT，但随着逐步深入，发现其实自己对这个算法的细节并不是非常了解，了解的只是一些面试题的答案而已……（既然没有深入了解，又怎么配说最喜欢呢？） 此外，由于野路子的鄙人数学功底不行，对公式的理解非常捉急，故而在本次 ...
原文：野路子码农系列（9）利用ONNX加速Pytorch模型推断
最近在做一个文本多分类的模型，非常常规的BERT finetune的套路，考虑到运行成本，打算GPU训练后用CPU做推断。 在小破本上试了试，发现推断速度异常感人，尤其是序列长度增加之后，一条 秒不是梦。 于是只能寻找加速手段，早先听过很多人提到过ONNX，但从来没试过，于是就学习了一下，发现效果还挺不错的，手法其实也很简单，就是有几个小坑。 第 步 保存模型 首先得从torch中将模型导出成ON ...
2021-11-04 18:29 1 801 推荐指数：
相关推荐
将模型从 PyTorch 导出到 ONNX 并使用 ONNX Runtime 运行
原文： https://pytorch.org/tutorials/advanced/super_resolution_with_onnxruntime.html 注意 单击此处的下载完整的示例代码 在本教程中，我们描述了如何将 PyTorch 中定义的模型转换为 ONNX 格式 ...
【pytorch基础】基于训练的pytorch模型转换为onnx模型并测试
前言 模型部署的过程中，不同的硬件可能支持不同的模型框架，本文介绍pytorch模型文件转换为onnx模型文件的实现过程，主要是基于Pytorch_Unet的实现过程，训练模型转换为onnx模型，并测试onnx的效果； 操作步骤 1. 基于训练完成的pth文件转换为onnx模型； 2. ...
pytorch模型训练加速tricks
1、学习率设置策略 Pytorch 已经实现了两种方法：「torch.optim.lr_scheduler.CyclicLR」和「torch.optim.lr_scheduler.OneCycleLR」。参考文档：https://pytorch.org/docs/stable ...
[Pytorch]基于混和精度的模型加速
这篇博客是在pytorch中基于apex使用混合精度加速的一个偏工程的描述，原理层面的解释并不是这篇博客的目的，不过在参考部分提供了非常有价值的资料，可以进一步研究。 一个关键原则：“仅仅在权重更新的时候使用fp32，耗时的前向和后向运算都使用fp16”。其中的一个技巧是：在反向计算开始前 ...
野路子Java开发的一篇随笔
园子的朋友们，一年半的时间大家过的还好吧？ 流水它带走光阴的故事改变了我们，再次的见面我们又历经了多少的路程，落花流水，冷暖自知，这一年半，关于工作上的关键词只有两个：加班( ...
模型部署 ONNX ONNX runtim
通常我们在训练模型时可以使用很多不同的框架，比如有的同学喜欢用 Pytorch，有的同学喜欢使用 TensorFLow，也有的喜欢 MXNet，以及深度学习最开始流行的 Caffe等等，这样不同的训练框架就导致了产生不同的模型结果包，在模型进行部署推理时就需要不同的依赖库，而且同一个框架 ...
Pytorch系列:（三）模型构建
nn.Module 函数详解 nn.Module是所有网络模型结构的基类，无论是pytorch自带的模型，还是要自定义模型，都需要继承这个类。这个模块包含了很多子模块，如下所示，_parameters存放的是模型的参数，_buffers也存放的是模型的参数，但是是那些不需要更新的参数。带hook ...