TensorFlow——共享變量的使用方法

1.共享變量用途

在構建模型時，需要使用tf.Variable來創建一個變量（也可以理解成節點）。當兩個模型一起訓練時，一個模型需要使用其他模型創建的變量，比如，對抗網絡中的生成器和判別器。如果使用tf.Variable，將會生成一個新的變量，而我們需要使用原來的那個變量。這時就是通過引入get_Variable方法，實現共享變量來解決這個問題。這種方法可以使用多套網絡模型來訓練一套權重。

2.使用get_Variable獲取變量

get_Variable一般會配合Variable_scope一起使用，以實現共享變量。Variable_scope的含義是變量作用域。在某一作用域中的變量可以被設置成共享的方式，被其他網絡模型使用。

get_Variable函數的定義如下：

tf.get_Variable(<name>, <shape>, <initializer>)

在TensorFlow里，使用get_Variable時候生成的變量是以指定的name屬性為唯一標識，並不是定義的變量名稱。使用時一般是通過name屬性定位到具體變量，並將其共享到其他的模型中。

import tensorflow as tf
import numpy as np


var1 = tf.Variable(1.0, name='first_var')
print("var1: ", var1.name)

var1 = tf.Variable(2.0, name='first_var')
print('var1: ', var1.name)

var2 = tf.Variable(3.0)
print('var2: ', var2.name)

var2 = tf.Variable(4.0)
print('var1: ', var2.name)

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    print("var1=", var1.eval())
    print("var2=", var2.eval())
    print()

在上述的代碼中，，可以看到內存中有兩個var1，並且他們的name是不一樣的，對於圖來說，后面的var1是生效的。當Variable定義沒有指定名字時，系統會自動的加上一個名字Variable：0

3.get_Variable用法演示

import tensorflow as tf
import numpy as np


get_var1 = tf.get_variable('firat_var_1', [1], initializer=tf.constant_initializer(2))
print("var1: ", get_var1.name)

get_var1 = tf.get_variable('firat_var_2', [1], initializer=tf.constant_initializer(3))
print("var1: ", get_var1.name)

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    print("var1=", get_var1.name)
    print("var1=", get_var1.eval())

使用不同的name定義變量，當使用相同的name時，會拋出異常，變量名可以相同，但是name是不能相同的。

如果要使用相同的name的話，我們需要使用variable_scope將他們隔開，看如下代碼：

import tensorflow as tf

with tf.variable_scope('test_1'):
    var1 = tf.get_variable('first_var', shape=[2], dtype=tf.float32)

with tf.variable_scope('test_2'):
    var1 = tf.get_variable('first_var', shape=[2], dtype=tf.float32)

print("var1:", var1.name)
print("var1:", var1.name)

根據程序的運行結果，我們可以發現變量的名字加上了作用域的名稱，這樣使得我們能夠在不同的作用域下面定義name相同的變量，同時，scope還支持嵌套定義，

with tf.variable_scope('test_0'):
    with tf.variable_scope('test_1'):
        var1 = tf.get_variable('first_var', shape=[2], dtype=tf.float32)

    with tf.variable_scope('test_2'):
        var1 = tf.get_variable('first_var', shape=[2], dtype=tf.float32)

print("var1:", var1.name)
print("var1:", var1.name)

4.共享作用域

使用作用域中的參數reuse可以實現共享變量功能

在variable_scope里面有一個reuse=True屬性，表示使用已經定義過的變量，這時，get_variable將不會在創建新的變量，而是去圖中get_variable所創建的變量中找與name相同的變量。

import tensorflow as tf

with tf.variable_scope('test_0'):
    var1 = tf.get_variable('first_var', shape=[2], dtype=tf.float32)
    with tf.variable_scope('test_2'):
        var2 = tf.get_variable('first_var', shape=[2], dtype=tf.float32)

with tf.variable_scope('test_0', reuse=True):
    var3 = tf.get_variable('first_var', shape=[2], dtype=tf.float32)
    with tf.variable_scope('test_2'):
        var4 = tf.get_variable('first_var', shape=[2], dtype=tf.float32)


print("var1:", var1.name)
print("var2:", var2.name)

print("var3:", var3.name)
print("var4:", var4.name)

在上述的輸出結果中，我們可以看到，var1和var3的名字一樣，var2和var4的名字一樣，則表明他們是同一個變量，如此就實現了變量的共享。在實際應用中，可以將1,2和3,4分別放在不同的模型進行訓練，但是他們會作用於同一個模型的學習參數上。

使用anaconda的spyder工具運行時，代碼只能運行一次，第二次運行將會報錯。可以退出當前的kernel，再重新進入一下，因為tf.get_varibale在創建變量時，會去檢查圖中是否已經創建過該變量，如果創建過且不是共享的方式，則會報錯。

因而可以使用tf.reset_default_graph()，將圖里面的變量清空，就可以解決這個問題。

5.初始化共享變量

variable_scope和get_variable都具有初始化的功能。在初始化時，如果沒有對當前變量初始化，則TensorFlow會默認使用作用域的初始化，並且作用域的初始化方法也有繼承功能。

import tensorflow as tf

with tf.variable_scope('test_0', initializer=tf.constant_initializer(0.15)):
    var1 = tf.get_variable('first_var', shape=[2], dtype=tf.float32)
    with tf.variable_scope('test_2'):
        var2 = tf.get_variable('first_var', shape=[2], dtype=tf.float32)
        var3 = tf.get_variable('first_var_2', shape=[2], initializer=tf.constant_initializer(0.315))

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    print("var1:", var1.eval())
    print("var2:", var2.eval())
    print("var3:", var3.eval())

當變量沒有進行初始化時，會繼承它的域的初始化方式，域也會繼承它的上一級的域的初始化方式。在多模型訓練時，常常可以對模型中的張量進行分區，同時，同一進行初始化。在變量共享方面，可以使用tf.AUTO_REUSE來為reuse屬性賦值。tf。AUTO_REUSE可以實現第一次調用variable_scope時，傳入reuse的值為false，再次調用時，reuse的值為True。

6.作用域與操作符的受限范圍

variable_scope還可以使用with variable_scope as xxxscope的方式定義作用域，當使用這種方式時，將不會在受到外層的scope所限制。

import tensorflow as tf

with tf.variable_scope('test2', initializer=tf.constant_initializer(1.5)) as sp:
    var1 = tf.get_variable('var1', [2], dtype=tf.float32)

print(sp.name)
print(var1.name)

with tf.variable_scope('test1', dtype=tf.float32, initializer=tf.constant_initializer(5.5)):
    var2 = tf.get_variable('var1', [2], dtype=tf.float32)
    with tf.variable_scope(sp) as sp1:
        var3 = tf.get_variable('var2', [2], dtype=tf.float32)

print("var2:", var2.name)


print("var3:", var3.name)


with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    print("var2:", var2.eval())
    print("var2:", var3.eval())

通過with tf.variable_scope(sp) as sp1我們可知其沒有收到外層的作用域所限制，初始化的操作時，它的值不是外層作用域的初始化值，而是指定的作用域的初始化的值。

對於操作符而言，不僅收到tf.name_scope限制還收到tf.variable_scope限制。

import tensorflow as tf
import numpy as np

with tf.variable_scope('scope'):
    with tf.name_scope('op'):
        v = tf.get_variable('var1', [1])
        x = v + 2.0

print("v:", v.name)
print('x', x.name)

根據結果，我們可知，通過添加tf.name_scope('op'):作用域時，變量的命名並沒有收到限制，只是改變了op的命名，通過tf.name_scope(''):還可以返回到頂層的作用域中。

import tensorflow as tf
import numpy as np

with tf.variable_scope('scope'):
    var1 = tf.get_variable("v", [1])

    with tf.variable_scope('scope_1'):
        var2 = tf.get_variable("v", [1])

        with tf.name_scope(''):
            var3 = tf.get_variable('var1', [1])
            x = var3 + 2.0

print("var1 ", var1.name)
print('var2 ', var2.name)
print('var3 ', var3.name)
print('x ', x.name)

通過將通過tf.name_scope('')設置為空，對於變量名是沒有影響，但是可以看到x的命名，它已經變成了最外層的命名了。