tensorflow模型持久化保存和加載--深度學習-神經網絡

模型文件的保存

tensorflow將模型保持到本地會生成4個文件：

meta文件：保存了網絡的圖結構，包含變量、op、集合等信息

ckpt文件： 二進制文件，保存了網絡中所有權重、偏置等變量數值，分為兩個文件，一個是.data-00000-of-00001 文件，一個是 .index 文件

checkpoint文件：文本文件，記錄了最新保持的5個模型文件列表

 

tf中模型保存使用 tf.train.Saver類來保存模型。使用方式：

1. 在Session外生成一個模型保存對象

saver = tf.train.Saver()

2. 在Session中以當前環境Session為參數，保存模型到本地磁盤

saver.save(sess,"./model/Model_test")

Saver類的構造函數定義：

def __init__(self,
var_list=None,
reshape=False,
sharded=False,
max_to_keep=5,
keep_checkpoint_every_n_hours=10000.0,
name=None,
restore_sequentially=False,
saver_def=None,
builder=None,
defer_build=False,
allow_empty=False,
write_version=saver_pb2.SaverDef.V2,
pad_step_number=False,
save_relative_paths=False,
filename=None):
常用的幾個變量：
var_list： 指定要保存的變量的序列或字典，默認為None，保存所有變量
reshape： 可選參數，如果為True，表示允許變量以不同的形狀保存，如果為False，表示保持的變量只能有同樣一種形狀和數據類型，默認為False;
max_to_keep： 定義最多保存最近的多少個模型文件，默認是5個;
keep_checkpoint_every_n_hours： 定義多少個小時保存模型一次，默認10000個小時;
name： 可選參數，添加到操作名稱前的前綴，默認None;
restore_sequentially：定義在設備上是否按照順序恢復變量，順序恢復可以降低內參使用，默認False;
saver_def：可選參數，用在需要重建Saver對象場合，默認None;
allow_empty：是否允許保存一個沒有任何變量的空圖，默認False;

saver.save函數定義：

def save(self,
sess,
save_path,
global_step=None,
latest_filename=None,
meta_graph_suffix="meta",
write_meta_graph=True,
write_state=True,
strip_default_attrs=False):
常用參數：
sess： 當前的會話環境;
save_path: 模型保存路徑;
global_step： 訓練輪次，如果添加，會在模型文件名稱后加上這個輪次的后綴，默認None，不添加，最好設置這個參數，要不然模型文件就會由於重名覆蓋掉之前保存的;
latest_filename： checkpoint文本文件的名稱，默認為‘checkpoint’
meta_graph_suffix： 保存的網絡圖結構文件的后綴，默認為mata;
write_meta_graph： 定義是否保存網絡結構，默認是True保存，由於網絡結構在訓練過程中是不會變的，所以保存過一次后可以設置 write_meta_graph為False，不用每次都保存圖結構;

簡單示例，以下程序中 X和Y是一個含有128個元素的列表，每個元素是一個二維數組，定義公式  Y = (X*w1+b1)*(w2)+b2  ，使用tensorflow網絡迭代求 w和b 的最優解，完成之后保持模型到本地 model_test 文件夾。

# -*- coding: utf-8 -*-)
import tensorflow as tf
from numpy.random import RandomState

# 定義訓練數據batch的大小
batch_size = 8

# 在shape上使用None表示該維度的具體數值不定
x = tf.placeholder(tf.float32, shape=(None, 2), name='x-input')
y_ = tf.placeholder(tf.float32, shape=(None, 1), name='y-input')

# 定義神經網絡的參數
w1 = tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1))
w2 = tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1))
bias1 = tf.Variable(tf.random_normal([3], stddev=1, seed=1))
bias2 = tf.Variable(tf.random_normal([1], stddev=1, seed=1))

# 定義神經網絡前向傳播的過程，即操作
a = tf.nn.relu(tf.matmul(x, w1) + bias1)
y = tf.nn.relu(tf.matmul(a, w2) + bias2)

# 定義損失函數和反向傳播算法
loss = tf.reduce_sum(tf.pow((y - y_), 2))
train_step = tf.train.AdamOptimizer(0.001).minimize(loss) # 梯度下降優化算法

# produce the data，通過隨機數生成一個模擬數據集
rdm = RandomState(seed=1) # 設置seed = 1 ，使每次生成的隨機數一樣
dataset_size = 128
X = rdm.rand(dataset_size, 2)
Y = [[x1 + 10 * x2] for (x1, x2) in X]

# 生成一個保持模型對象
saver = tf.train.Saver()

# creare a session，創建一個會話來運行TensorFlow程序
with tf.Session() as sess:

# 初始化變量
sess.run(tf.global_variables_initializer())

# 設定訓練的輪數
STEPS = 10000
for i in range(STEPS + 1):
# get batch_size samples data to train，每次選取batch_size個樣本進行訓練
start = (i * batch_size) % dataset_size
end = min(start + batch_size, dataset_size)

# 通過選取的樣本訓練神經網絡並更新參數
sess.run(train_step, feed_dict={x: X[start: end], y_: Y[start: end]})
if i % 500 == 0:
# 每隔一段時間計算在所有數據上的loss並輸出
total_cross_entropy= sess.run([loss], feed_dict={x: X, y_: Y})
print ("steps: {}, total loss: {}".format(i,total_cross_entropy))

# 在訓練結束之后，保持神經網絡模型
saver.save(sess, "./model_saved/model_test")

print sess.run((w1,bias1))
print('^^^^^^^^^^^^^^^^^^^^^^^^^')
print sess.run((w2,bias2))

# output:
# steps: 0, total loss: [2599.938]
# steps: 500, total loss: [873.66064]
# steps: 1000, total loss: [667.79114]
# steps: 1500, total loss: [483.07538]
# steps: 2000, total loss: [300.2436]
# steps: 2500, total loss: [159.57596]
# steps: 3000, total loss: [74.0152]
# steps: 3500, total loss: [30.022282]
# steps: 4000, total loss: [10.848581]
# steps: 4500, total loss: [3.8684735]
# steps: 5000, total loss: [1.6775348]
# steps: 5500, total loss: [0.87090385]
# steps: 6000, total loss: [0.47393078]
# steps: 6500, total loss: [0.2628175]
# steps: 7000, total loss: [0.13229856]
# steps: 7500, total loss: [0.058554076]
# steps: 8000, total loss: [0.022747971]
# steps: 8500, total loss: [0.007896027]
# steps: 9000, total loss: [0.002599821]
# steps: 9500, total loss: [0.0007222026]
# steps: 10000, total loss: [0.00021833208]
# (array([[-0.8113182 , 0.741788 , -0.06654923],
# [-2.4427042 , 1.7258024 , 3.505848 ]], dtype=float32), array([-0.8113182 , 0.9206883 , -0.00473781], dtype=float32))
# ^^^^^^^^^^^^^^^^^^^^^^^^^
# (array([[-0.8113182],
# [ 1.5360606],
# [ 2.0962803]], dtype=float32), array([-1.4044524], dtype=float32))
經過10000次迭代之后完成訓練，在本地model_test目錄下創建了模型的4個文件：

 

 

模型文件的加載

模型文件的圖結構跟數據是分開保存的，加載模型時候可以先加載圖結構，再加載圖中的參數(在Session中操作)：

saver=tf.train.import_meta_graph('./model_saved/model_test.meta')
saver.restore(sess, tf.train.latest_checkpoint('./model_saved'))

或者一次性加載：

saver = tf.train.Saver()
saver.restore(sess, './model_saved/model_test')
或：
saver.restore(sess, tf.train.latest_checkpoint('./model_saved'))

‘model_test’是保存的模型文件名稱（前綴名，不帶后綴）

更加安全一點的加載方式，先判斷模型文件是否存在判斷（推薦使用這種方式）：

ckpt = tf.train.get_checkpoint_state('./model_saved')
if ckpt and ckpt.model_checkpoint_path:
saver.restore(sess, ckpt.model_checkpoint_path)

# -*- coding: utf-8 -*-)
import tensorflow as tf
from numpy.random import RandomState

# 定義訓練數據batch的大小
batch_size = 8

# 在shape上使用None表示該維度的具體數值不定
x = tf.placeholder(tf.float32, shape=(None, 2), name='x-input')
y_ = tf.placeholder(tf.float32, shape=(None, 1), name='y-input')

# 定義神經網絡的參數
w1 = tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1))
w2 = tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1))
bias1 = tf.Variable(tf.random_normal([3], stddev=1, seed=1))
bias2 = tf.Variable(tf.random_normal([1], stddev=1, seed=1))

# 定義神經網絡前向傳播的過程，即操作
a = tf.nn.relu(tf.matmul(x, w1) + bias1)
y = tf.nn.relu(tf.matmul(a, w2) + bias2)

# produce the data，通過隨機數生成一個模擬數據集
rdm = RandomState(seed=1) # 設置seed = 1 ，使每次生成的隨機數一樣
dataset_size = 128
X = rdm.rand(dataset_size, 2)
Y = [[x1 + 10 * x2] for (x1, x2) in X]

# creare a session，創建一個會話來運行TensorFlow程序
with tf.Session() as sess:
saver = tf.train.import_meta_graph('./model_saved/model_test.meta')
saver.restore(sess, tf.train.latest_checkpoint('./model_saved'))

# 初始化變量
sess.run(tf.global_variables_initializer())

print(sess.run(y,feed_dict={x: X[0: 10], y_: Y[0: 10]}))

# output:
# [[2.4518511]
# [1.4534602]
# [1.7382364]
# [1.8725655]
# [2.3733683]
# [2.4501202]
# [2.0117776]
# [1.582149 ]
# [2.4224167]
# [1.7438407]]

tf.train.Saver常用函數列表：

操作 描述
類tf.train.Saver(Saving and Restoring Variables)  
tf.train.Saver.__init__(var_list=None, reshape=False,
sharded=False, max_to_keep=5,
keep_checkpoint_every_n_hours=10000.0,
name=None, restore_sequentially=False,
saver_def=None, builder=None) 創建一個存儲器Saver
var_list定義需要存儲和恢復的變量
tf.train.Saver.save(sess, save_path, global_step=None,
latest_filename=None, meta_graph_suffix=’meta’,
write_meta_graph=True) 保存變量
tf.train.Saver.restore(sess, save_path) 恢復變量
tf.train.Saver.last_checkpoints 列出最近未刪除的checkpoint 文件名
tf.train.Saver.set_last_checkpoints(last_checkpoints) 設置checkpoint文件名列表
tf.train.Saver.set_last_checkpoints_with_time(last_checkpoints_with_time) 設置checkpoint文件名列表和時間戳

---------------------