本文基本参考自这篇文章：8-Bit Quantization and TensorFlow Lite: Speeding up mobile inference with low precision 首先来一段keras dalao Francois Chollet的鸡汤 ...

1，概述 　　模型量化应该是现在最容易实现的模型压缩技术，而且也基本上是在移动端部署的模型的毕竟之路。模型量化基本可以分为两种：post training quantizated和quantization aware training。在pyrotch和tensroflow中都提供了相应的实现 ...

...

最近已经训练好了一版基于DeepLearning的文本分类模型，TextCNN原理。在实际的预测中，如果默认模型会优先选择GPU那么每一次实例调用，都会加载GPU信息，这会造成很大的性能降低。 那么，在使用的过程中我们无关乎使用GPU还是CPU，使用CPU反而是很快的，所以在有GPU的服务器部署 ...

我们知道tensorflow的官方bert模型里面包含了很多内容，在进行微调时有许多部分都是我们用不到的，我们需要截取一些用到的部分，使得我们能够更容易进行扩展，接下来本文将进行一一讲解。 1、需要的文件 tokenization.py：用于对数据进行处理，主要是分词 ...

部署多个模型 （1）直接部署两个模型faster-rcnn与retina，构建代码的文件夹。 文件夹结构为： model.config的内容为： （2）启动docker sudo docker run -p 8501:8501 -p 8500:8500 --mount type ...

Tensorflow的slim框架可以写出像keras一样简单的代码来实现网络结构（虽然现在keras也已经集成在tf.contrib中了），而且models/slim提供了类似之前说过的object detection接口类似的image classification接口，可以很方便的进行 ...

import sys,os sys.path.append(os.pardir) import numpy as np from tensorflow.examples.tutorials.mnist import input_data from PIL import Image ...