本文基本參考自這篇文章：8-Bit Quantization and TensorFlow Lite: Speeding up mobile inference with low precision 首先來一段keras dalao Francois Chollet的雞湯 ...

1，概述 　　模型量化應該是現在最容易實現的模型壓縮技術，而且也基本上是在移動端部署的模型的畢竟之路。模型量化基本可以分為兩種：post training quantizated和quantization aware training。在pyrotch和tensroflow中都提供了相應的實現 ...

...

最近已經訓練好了一版基於DeepLearning的文本分類模型，TextCNN原理。在實際的預測中，如果默認模型會優先選擇GPU那么每一次實例調用，都會加載GPU信息，這會造成很大的性能降低。 那么，在使用的過程中我們無關乎使用GPU還是CPU，使用CPU反而是很快的，所以在有GPU的服務器部署 ...

我們知道tensorflow的官方bert模型里面包含了很多內容，在進行微調時有許多部分都是我們用不到的，我們需要截取一些用到的部分，使得我們能夠更容易進行擴展，接下來本文將進行一一講解。 1、需要的文件 tokenization.py：用於對數據進行處理，主要是分詞 ...

部署多個模型 （1）直接部署兩個模型faster-rcnn與retina，構建代碼的文件夾。 文件夾結構為： model.config的內容為： （2）啟動docker sudo docker run -p 8501:8501 -p 8500:8500 --mount type ...

Tensorflow的slim框架可以寫出像keras一樣簡單的代碼來實現網絡結構（雖然現在keras也已經集成在tf.contrib中了），而且models/slim提供了類似之前說過的object detection接口類似的image classification接口，可以很方便的進行 ...

import sys,os sys.path.append(os.pardir) import numpy as np from tensorflow.examples.tutorials.mnist import input_data from PIL import Image ...