神经网络量化入门--量化感知训练
上一篇文章介绍了后训练量化的基本流程，并用 pytorch 演示了最简单的后训练量化算法。 后训练量化虽然操作简单，并且大部分推理框架都提供了这类离线量化算法 (如 tensorrt、ncnn，SNPE 等)，但有时候这种方法并不能保证足够的精度，因此本文介绍另一种比后训练量化更有效地量化方法 ...
原文：神经网络量化入门--后训练量化
上一篇文章介绍了矩阵量化的基本原理，并推广到卷积网络中。这一章开始，我会逐步深入到卷积网络的量化细节中，并用 pytorch 从零搭建一个量化模型，帮助读者实际感受量化的具体流程。 本章中，我们来具体学习最简单的量化方法 后训练量化 post training quantization 由于本人接触量化不久，如表述有错，欢迎指正。 卷积层量化 卷积网络最核心的要素是卷积，前文虽然有提及卷积运算的量 ...
2020-07-05 22:08 0 3290 推荐指数：
相关推荐
神经网络量化入门--基本原理
最近打算写一个关于神经网络量化的入门教程，包括网络量化的基本原理、离线量化、量化训练，以及全量化模型的推理过程，最后我会用 pytorch 从零构建一个量化模型，帮助读者形成更深刻的理解。 之所以要写这系列教程，主要是想帮助初次接触量化的同学快速入门。笔者在刚开始接触模型量化时走了很多弯路 ...
神经网络量化入门--Add和Concat
好久没更新了，一方面是因为工作繁忙，另一方面主要是懒。 之前写过几篇关于神经网络量化的文章，主要是对 Google 量化论文以及白皮书的解读，但有一些细节的问题当时没有提及。这篇文章想补充其中一个问题：关于 ElementwiseAdd (简称 EltwiseAdd) 和 Concat 的量化 ...
神经网络量化入门--Folding BatchNorm ReLU
上一篇文章介绍了量化训练的基本流程，本文介绍量化中如何把 BatchNorm 和 ReLU 合并到 Conv 中。 Folding BatchNorm BatchNorm 是 Google 提出的一种加速神经网络训练的技术，在很多网络中基本是标配。 回忆一下，BatchNorm ...
神经网络量化入门--激活函数
本文首发于公众号「AI小男孩」，欢迎大伙过来砸场！ 在之前的文章中提到过可以把 ReLU 合并到 Conv 中加速量化推理，当时只是用一个例子简单介绍一下过程，逻辑上存在一些漏洞。本文打算从数学上深入剖析一下其中的原理，并进一步扩展到其他激活函数，看看在网络量化中激活函数一般是怎么处理 ...
神经网络量化入门--Folding BN ReLU代码实现
上一篇文章介绍了如何把 BatchNorm 和 ReLU 合并到 Conv 中，这篇文章会介绍具体的代码实现。本文相关代码都可以在 github 上找到。 Folding BN 回顾 ...
神经网络量化实践-1
-------------------------------------------------------------------------------------------------- ...
神经网络量化--per-channel量化
(本文首发于公众号，没事来逛逛) 之前写的关于网络量化的文章都是基于 per-layer 实现的，最近有小伙伴询问关于 per-channel 量化的问题，我发现有些同学对这个东西存在一些误解，包括我以前也被 per-channel 的字面意义误导过，所以今天简单聊一下 per-channel ...