鏈接：https://blog.csdn.net/thriving_fcl/article/details/75213361
saved_model模塊主要用於TensorFlow Serving。TF Serving是一個將訓練好的模型部署至生產環境的系統，主要的優點在於可以保持Server端與API不變的情況下，部署新的算法或進行試驗，同時還有很高的性能。
保持Server端與API不變有什么好處呢？有很多好處，我只從我體會的一個方面舉例子說明一下，比如我們需要部署一個文本分類模型，那么輸入和輸出是可以確定的，輸入文本，輸出各類別的概率或類別標簽。為了得到較好的效果，我們可能想嘗試很多不同的模型，CNN，RNN，RCNN等，這些模型訓練好保存下來以后，在inference階段需要重新載入這些模型，我們希望的是inference的代碼有一份就好，也就是使用新模型的時候不需要針對新模型來修改inference的代碼。這應該如何實現呢？
在TensorFlow 模型保存/載入的兩種方法中總結過。
1. 僅用Saver來保存/載入變量。這個方法顯然不行，僅保存變量就必須在inference的時候重新定義Graph(定義模型)，這樣不同的模型代碼肯定要修改。即使同一種模型，參數變化了，也需要在代碼中有所體現，至少需要一個配置文件來同步，這樣就很繁瑣了。
2. 使用tf.train.import_meta_graph導入graph信息並創建Saver， 再使用Saver restore變量。相比第一種，不需要重新定義模型，但是為了從graph中找到輸入輸出的tensor，還是得用graph.get_tensor_by_name()來獲取，也就是還需要知道在定義模型階段所賦予這些tensor的名字。如果創建各模型的代碼都是同一個人完成的，還相對好控制，強制這些輸入輸出的命名都一致即可。如果是不同的開發者，要在創建模型階段就強制tensor的命名一致就比較困難了。這樣就不得不再維護一個配置文件，將需要獲取的tensor名稱寫入，然后從配置文件中讀取該參數。
經過上面的分析發現，要實現inference的代碼統一，使用原來的方法也是可以的，只不過TensorFlow官方提供了更好的方法，並且這個方法不僅僅是解決這個問題，所以還是得學習使用saved_model這個模塊。
saved_model 保存/載入模型
先列出會用到的API
class tf.saved_model.builder.SavedModelBuilder
# 初始化方法
__init__(export_dir)
# 導入graph與變量信息
add_meta_graph_and_variables(
sess,
tags,
signature_def_map=None,
assets_collection=None,
legacy_init_op=None,
clear_devices=False,
main_op=None
)
# 載入保存好的模型
tf.saved_model.loader.load(
sess,
tags,
export_dir,
**saver_kwargs
)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
(1) 最簡單的場景，只是保存/載入模型
保存
要保存一個已經訓練好的模型，使用下面三行代碼就可以了。
builder = tf.saved_model.builder.SavedModelBuilder(saved_model_dir)
builder.add_meta_graph_and_variables(sess, ['tag_string'])
builder.save()
1
2
3
首先構造SavedModelBuilder對象，初始化方法只需要傳入用於保存模型的目錄名，目錄不用預先創建。
add_meta_graph_and_variables方法導入graph的信息以及變量，這個方法假設變量都已經初始化好了，對於每個SavedModelBuilder這個方法一定要執行一次用於導入第一個meta graph。
第一個參數傳入當前的session，包含了graph的結構與所有變量。
第二個參數是給當前需要保存的meta graph一個標簽，標簽名可以自定義，在之后載入模型的時候，需要根據這個標簽名去查找對應的MetaGraphDef，找不到就會報如RuntimeError: MetaGraphDef associated with tags 'foo' could not be found in SavedModel這樣的錯。標簽也可以選用系統定義好的參數，如tf.saved_model.tag_constants.SERVING與tf.saved_model.tag_constants.TRAINING。
save方法就是將模型序列化到指定目錄底下。
保存好以后到saved_model_dir目錄下，會有一個saved_model.pb文件以及variables文件夾。顧名思義，variables保存所有變量，saved_model.pb用於保存模型結構等信息。
載入
使用tf.saved_model.loader.load方法就可以載入模型。如
meta_graph_def = tf.saved_model.loader.load(sess, ['tag_string'], saved_model_dir)
1
第一個參數就是當前的session，第二個參數是在保存的時候定義的meta graph的標簽，標簽一致才能找到對應的meta graph。第三個參數就是模型保存的目錄。
load完以后，也是從sess對應的graph中獲取需要的tensor來inference。如
x = sess.graph.get_tensor_by_name('input_x:0')
y = sess.graph.get_tensor_by_name('predict_y:0')
# 實際的待inference的樣本
_x = ...
sess.run(y, feed_dict={x: _x})
1
2
3
4
5
6
這樣和之前的第二種方法一樣，也是要知道tensor的name。那么如何可以在不知道tensor name的情況下使用呢？ 那就需要給add_meta_graph_and_variables方法傳入第三個參數，signature_def_map。
(2) 使用SignatureDef
關於SignatureDef我的理解是，它定義了一些協議，對我們所需的信息進行封裝，我們根據這套協議來獲取信息，從而實現創建與使用模型的解耦。SignatureDef的結構以及相關詳細的文檔在：https://github.com/tensorflow/serving/blob/master/tensorflow_serving/g3doc/signature_defs.md
相關API
# 構建signature
tf.saved_model.signature_def_utils.build_signature_def(
inputs=None,
outputs=None,
method_name=None
)
# 構建tensor info
tf.saved_model.utils.build_tensor_info(tensor)
1
2
3
4
5
6
7
8
9
SignatureDef，將輸入輸出tensor的信息都進行了封裝，並且給他們一個自定義的別名，所以在構建模型的階段，可以隨便給tensor命名，只要在保存訓練好的模型的時候，在SignatureDef中給出統一的別名即可。
TensorFlow的關於這部分的例子中用到了不少signature_constants，這些constants的用處主要是提供了一個方便統一的命名。在我們自己理解SignatureDef的作用的時候，可以先不用管這些，遇到需要命名的時候，想怎么寫怎么寫。
保存
假設定義模型輸入的別名為“input_x”，輸出的別名為“output” ，使用SignatureDef的代碼如下
builder = tf.saved_model.builder.SavedModelBuilder(saved_model_dir)
# x 為輸入tensor, keep_prob為dropout的prob tensor
inputs = {'input_x': tf.saved_model.utils.build_tensor_info(x),
'keep_prob': tf.saved_model.utils.build_tensor_info(keep_prob)}
# y 為最終需要的輸出結果tensor
outputs = {'output' : tf.saved_model.utils.build_tensor_info(y)}
signature = tf.saved_model.signature_def_utils.build_signature_def(inputs, outputs, 'test_sig_name')
builder.add_meta_graph_and_variables(sess, ['test_saved_model'], {'test_signature':signature})
builder.save()
1
2
3
4
5
6
7
8
9
10
11
12
上述inputs增加一個keep_prob是為了說明inputs可以有多個， build_tensor_info方法將tensor相關的信息序列化為TensorInfo protocol buffer。
inputs，outputs都是dict，key是我們約定的輸入輸出別名，value就是對具體tensor包裝得到的TensorInfo。
然后使用build_signature_def方法構建SignatureDef，第三個參數method_name暫時先隨便給一個。
創建好的SignatureDef是用在add_meta_graph_and_variables的第三個參數signature_def_map中，但不是直接傳入SignatureDef對象。事實上signature_def_map接收的是一個dict，key是我們自己命名的signature名稱，value是SignatureDef對象。
載入
載入與使用的代碼如下
## 略去構建sess的代碼
signature_key = 'test_signature'
input_key = 'input_x'
output_key = 'output'
meta_graph_def = tf.saved_model.loader.load(sess, ['test_saved_model'], saved_model_dir)
# 從meta_graph_def中取出SignatureDef對象
signature = meta_graph_def.signature_def
# 從signature中找出具體輸入輸出的tensor name
x_tensor_name = signature[signature_key].inputs[input_key].name
y_tensor_name = signature[signature_key].outputs[output_key].name
# 獲取tensor 並inference
x = sess.graph.get_tensor_by_name(x_tensor_name)
y = sess.graph.get_tensor_by_name(y_tensor_name)
# _x 實際輸入待inference的data
sess.run(y, feed_dict={x:_x})
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
從上面兩段代碼可以知道，我們只需要約定好輸入輸出的別名，在保存模型的時候使用這些別名創建signature，輸入輸出tensor的具體名稱已經完全隱藏，這就實現創建模型與使用模型的解耦。
---------------------
作者：thriving_fcl
來源：CSDN
原文：https://blog.csdn.net/thriving_fcl/article/details/75213361?utm_source=copy
版權聲明：本文為博主原創文章，轉載請附上博文鏈接！