TensorFlow學習筆記之tf.train.ExponentialMovingAverage(decay=decay, num_updates=num_updates)類的理解

 神經網絡訓練一個模型的過程中，對於每一次參數的更新可以增加一個trick，即對參數進行滑動平均更新，即moving average，會對模型的訓練有益。參照源碼的一句說法：When training a model, it is often beneficial to maintain moving averages of the trained parameters. Evaluations that use averaged parameters sometimes produce significantly better results than the final trained values.

 

滑動平均更新參數依據公式：shadow_variable（cur） = decay * shadow_variable（pre） + (1 - decay) * variable

其中，decay控制更新速率，一般取值0.9以上，值越大，更新越慢，值越穩定；variable是當前變量的值；shadow_variable（pre）為上一次更新參數值；shadow_variable（cur）當前更新參數值。

 

下面說一下對這個類的理解：

類的主要參數有decay和num_updates，decay為衰減率，控制更新速率，num_updates為參數更新次數，或者說訓練次數，decay的值可以根據下面公式改變：

min(decay, (1 + num_updates) / (10 + num_updates)))

每次構造一個對象ema = tf.train.ExponentialMovingAverage(decay=decay, num_updates=num_updates)之后，需要調用函數ema.apply((self, var_list=None),參數var_list是一個列表或張量

此函數的功能就是執行滑動平均更新參數，返回一個操作，該操作就是實現上面公式shadow_variable（cur） = decay * shadow_variable（pre） + (1 - decay) * variable的操作。

官方源碼的解釋：The `apply()` method adds shadow copies of trained variables and add ops that maintain a moving average of the trained variables in their shadow copies. It is used when building the training model. The ops that maintain moving averages are typically run after each training step.

參數：`var_list` must be a list of `Variable` or `Tensor` objects.

返回值：Returns an op that updates all shadow variables from the current value of their associated variables.

 

舉例：

 

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import tensorflow as tf

"""
滑動平均方法的運用，通常用於訓練模型參數時，對參數的更新操作，利用
shadow_variable = decay * shadow_variable + (1 - decay) * variable
構造類tf.train.ExponentialMovingAverage()的對象ema
調用ema.apply() 返回用於對參數更新滑動平均的操作的列表，常用來傳給control_dependencies(control_inputs)函數

"""

# 定義一個32位浮點數的變量，初始值位0.0
v1 = tf.Variable(dtype=tf.float32, initial_value=0.)
# 衰減率decay，初始值位0.99
decay = 0.99
# 定義num_updates，同樣，初始值位0
num_updates = tf.Variable(0, trainable=False)
# 定義滑動平均模型的類，將衰減率decay和num_updates傳入。
ema = tf.train.ExponentialMovingAverage(decay=decay, num_updates=num_updates)
# 定義更新變量列表
update_var_list = [v1]
# 使用滑動平均模型
ema_apply = ema.apply(update_var_list) # return an operation that updates the moving averages

# Tensorflow會話
with tf.Session() as sess:
    # 初始化全局變量
    sess.run(tf.global_variables_initializer())
    # 輸出初始值
    print(sess.run([v1, ema.average(v1)]))
    # [0.0, 0.0]（此時 num_updates = 0 ⇒ decay = .1, ），
    # shadow_variable = variable = 0.
    # 將v1賦值為5
    sess.run(tf.assign(v1, 5))
    # 調用函數，使用滑動平均模型
    sess.run(ema_apply)
    # 再次輸出
    print(sess.run([v1, ema.average(v1)]))
    # 此時，num_updates = 0 ⇒ decay =0.1,  v1 = 5;
    # shadow_variable = 0.1 * 0 + 0.9 * 5 = 4.5 ⇒ variable
    # 將num_updates賦值為10000
    sess.run(tf.assign(num_updates, 10000))
    # 將v1賦值為10
    sess.run(tf.assign(v1, 10))
    # 調用函數，使用滑動平均模型
    sess.run(ema_apply)
    # 輸出
    print(sess.run([v1, ema.average(v1)]))
    # decay = 0.99,shadow_variable = 0.99 * 4.5 + .01*10 ⇒ 4.555
    # 再次使用滑動平均模型
    sess.run(ema_apply)
    # 輸出
    print(sess.run([v1, ema.average(v1)]))
    # decay = 0.99，shadow_variable = .99*4.555 + .01*10 = 4.609
    for i in range(1000):
        sess.run(ema_apply)
        print(sess.run([v1, ema.average(v1)]))