tensorflow 1.0 學習：參數初始化（initializer)

http://www.cnblogs.com/denny402/p/6932956.html

CNN中最重要的就是參數了，包括W,b。 我們訓練CNN的最終目的就是得到最好的參數，使得目標函數取得最小值。參數的初始化也同樣重要，因此微調受到很多人的重視，那么tf提供了哪些初始化參數的方法呢，我們能不能自己進行初始化呢？

https://github.com/tensorflow/tensorflow/blob/r1.1/tensorflow/python/ops/init_ops.py

所有的初始化方法都定義在tensorflow/python/ops/init_ops.py

1、tf.constant_initializer()

也可以簡寫為tf.Constant()

初始化為常數，這個非常有用，通常偏置項就是用它初始化的。

由它衍生出的兩個初始化方法：

a、 tf.zeros_initializer()， 也可以簡寫為tf.Zeros()

b、tf.ones_initializer(), 也可以簡寫為tf.Ones()

例：在卷積層中，將偏置項b初始化為0，則有多種寫法：

conv1 = tf.layers.conv2d(batch_images, 
                         filters=64,
                         kernel_size=7,
                         strides=2,
                         activation=tf.nn.relu,
                         kernel_initializer=tf.TruncatedNormal(stddev=0.01)
                         bias_initializer=tf.Constant(0),
                        )

或者：

bias_initializer=tf.constant_initializer(0)

或者：

bias_initializer=tf.zeros_initializer()

或者：

bias_initializer=tf.Zeros()

 

例：如何將W初始化成拉普拉斯算子？

value = [1, 1, 1, 1, -8, 1, 1, 1，1]
init = tf.constant_initializer(value)
W= tf.get_variable('W', shape=[3, 3], initializer=init)

2、tf.truncated_normal_initializer()

或者簡寫為tf.TruncatedNormal()

生成截斷正態分布的隨機數，這個初始化方法好像在tf中用得比較多。

它有四個參數（mean=0.0, stddev=1.0, seed=None, dtype=dtypes.float32)，分別用於指定均值、標准差、隨機數種子和隨機數的數據類型，一般只需要設置stddev這一個參數就可以了。

例：

conv1 = tf.layers.conv2d(batch_images, 
                         filters=64,
                         kernel_size=7,
                         strides=2,
                         activation=tf.nn.relu,
                         kernel_initializer=tf.TruncatedNormal(stddev=0.01)
                         bias_initializer=tf.Constant(0),
                        )

或者：

conv1 = tf.layers.conv2d(batch_images, 
                         filters=64,
                         kernel_size=7,
                         strides=2,
                         activation=tf.nn.relu,
                         kernel_initializer=tf.truncated_normal_initializer(stddev=0.01)
                         bias_initializer=tf.zero_initializer(),
                        )

 

3、tf.random_normal_initializer()

可簡寫為 tf.RandomNormal()

生成標准正態分布的隨機數，參數和truncated_normal_initializer一樣。

4、random_uniform_initializer = RandomUniform()

可簡寫為tf.RandomUniform()

生成均勻分布的隨機數，參數有四個（minval=0, maxval=None, seed=None, dtype=dtypes.float32)，分別用於指定最小值，最大值，隨機數種子和類型。

5、tf.uniform_unit_scaling_initializer()

可簡寫為tf.UniformUnitScaling()

和均勻分布差不多，只是這個初始化方法不需要指定最小最大值，是通過計算出來的。參數為（factor=1.0, seed=None, dtype=dtypes.float32)

max_val = math.sqrt(3 / input_size) * factor

這里的input_size是指輸入數據的維數，假設輸入為x, 運算為x * W，則input_size= W.shape[0]

它的分布區間為[ -max_val, max_val]

6、tf.variance_scaling_initializer()

可簡寫為tf.VarianceScaling()

參數為（scale=1.0,mode="fan_in",distribution="normal",seed=None，dtype=dtypes.float32)

scale: 縮放尺度（正浮點數）

mode:  "fan_in", "fan_out", "fan_avg"中的一個，用於計算標准差stddev的值。

distribution：分布類型，"normal"或“uniform"中的一個。

當 distribution="normal" 的時候，生成truncated normal   distribution（截斷正態分布） 的隨機數，其中stddev = sqrt(scale / n) ，n的計算與mode參數有關。

      如果mode = "fan_in"， n為輸入單元的結點數；         

      如果mode = "fan_out"，n為輸出單元的結點數；

       如果mode = "fan_avg",n為輸入和輸出單元結點數的平均值。

當distribution="uniform”的時候 ，生成均勻分布的隨機數，假設分布區間為[-limit, limit]，則

      limit = sqrt(3 * scale / n)

7、tf.orthogonal_initializer()

簡寫為tf.Orthogonal()

生成正交矩陣的隨機數。

當需要生成的參數是2維時，這個正交矩陣是由均勻分布的隨機數矩陣經過SVD分解而來。

8、tf.glorot_uniform_initializer()

也稱之為Xavier uniform initializer，由一個均勻分布（uniform distribution)來初始化數據。

假設均勻分布的區間是[-limit, limit],則

limit=sqrt(6 / (fan_in + fan_out))

其中的fan_in和fan_out分別表示輸入單元的結點數和輸出單元的結點數。

9、glorot_normal_initializer（）

也稱之為 Xavier normal initializer. 由一個 truncated normal distribution來初始化數據.

stddev = sqrt(2 / (fan_in + fan_out))

其中的fan_in和fan_out分別表示輸入單元的結點數和輸出單元的結點數。

==================================================================================================

 

tensorflow的幾種參數初始化方法

https://blog.csdn.net/liushui94/article/details/78947956

在tensorflow中，經常會遇到參數初始化問題，比如在訓練自己的詞向量時，需要對原始的embeddigs矩陣進行初始化，更一般的，在全連接神經網絡中，每層的權值w也需要進行初始化。 
tensorlfow中應該有一下幾種初始化方法

1. tf.constant_initializer() 常數初始化 2. tf.ones_initializer() 全1初始化 3. tf.zeros_initializer() 全0初始化 4. tf.random_uniform_initializer() 均勻分布初始化 5. tf.random_normal_initializer() 正態分布初始化 6. tf.truncated_normal_initializer() 截斷正態分布初始化 7. tf.uniform_unit_scaling_initializer() 這種方法輸入方差是常數 8. tf.variance_scaling_initializer() 自適應初始化 9. tf.orthogonal_initializer() 生成正交矩陣

 

具體的 
1、tf.constant_initializer()，它的簡寫是tf.Constant()

1. tf.constant_initializer()，它的簡寫是tf.Constant() #coding:utf-8 import numpy as np import tensorflow as tf train_inputs = [[1,2],[1,4],[3,2]] with tf.variable_scope("embedding-layer"): val = np.array([[1,2,3,4,5,6,7],[1,3,4,5,2,1,9],[0,12,3,4,5,7,8],[2,3,5,5,6,8,9],[3,1,6,1,2,3,5]]) const_init = tf.constant_initializer(val) embeddings = tf.get_variable("embed",shape=[5,7],dtype=tf.float32,initializer=const_init) embed = tf.nn.embedding_lookup(embeddings, train_inputs) #在embedding中查找train_input所對應的表示 print("embed",embed) sum_embed = tf.reduce_mean(embed,1) initall = tf.global_variables_initializer() with tf.Session() as sess: sess.run(initall) print(sess.run(embed)) print(sess.run(tf.shape(embed))) print(sess.run(sum_embed))

 

4、random_uniform_initializer = RandomUniform()

4.random_uniform_initializer = RandomUniform() 可簡寫為tf.RandomUniform() 生成均勻分布的隨機數，參數有四個（minval=0, maxval=None, seed=None, dtype=dtypes.float32)，分別用於指定最小值，最大值，隨機數種子和類型。

 

6、tf.truncated_normal_initializer()

6. tf.truncated_normal_initializer() 簡寫tf.TruncatedNormal() 生成截斷正態分布的隨機數，這個初始化方法在tf中用得比較多。 它有四個參數（mean=0.0, stddev=1.0, seed=None, dtype=dtypes.float32)，分別用於指定均值、標准差、隨機數種子和隨機數的數據類型，一般只需要設置stddev這一個參數就可以了。

 

8、tf.variance_scaling_initializer()

8.tf.variance_scaling_initializer() 可簡寫為tf.VarianceScaling() 參數為（scale=1.0,mode="fan_in",distribution="normal",seed=None，dtype=dtypes.float32) scale: 縮放尺度（正浮點數） mode: "fan_in", "fan_out", "fan_avg"中的一個，用於計算標准差stddev的值。 distribution：分布類型，"normal"或“uniform"中的一個。 當 distribution="normal" 的時候，生成truncated normal distribution（截斷正態分布） 的隨機數，其中stddev = sqrt(scale / n) ，n的計算與mode參數有關。 如果mode = "fan_in"， n為輸入單元的結點數； 如果mode = "fan_out"，n為輸出單元的結點數； 如果mode = "fan_avg",n為輸入和輸出單元結點數的平均值。 當distribution="uniform”的時候 ，生成均勻分布的隨機數，假設分布區間為[-limit, limit]，則 limit = sqrt(3 * scale / n) 

 

截斷正態分布（Truncated normal distribution）

https://blog.csdn.net/lanchunhui/article/details/61623189

Truncated normal distribution - Wikipedia

Normal Distribution 稱為正態分布，也稱為高斯分布，Truncated Normal Distribution一般翻譯為截斷正態分布，也有稱為截尾正態分布。

截斷正態分布是截斷分布(Truncated Distribution)的一種，那么截斷分布是什么？截斷分布是指，限制變量xx 取值范圍(scope)的一種分布。例如，限制x取值在0到50之間，即{0<x<50}。因此，根據限制條件的不同，截斷分布可以分為：

• 2.1 限制取值上限，例如，負無窮<x<50
• 2.2 限制取值下限，例如，0<x<正無窮
• 2.3 上限下限取值都限制，例如，0<x<50

正態分布則可視為不進行任何截斷的截斷正態分布，也即自變量的取值為負無窮到正無窮；

1. 概率密度函數

假設 X 原來服從正太分布，那么限制 x 的取值在（a，b）范圍內之后，X 的概率密度函數，可以用下面公式計算：

 

 

f(x;μ,σ,a,b)=1σϕ(x−μσ)Φ(b−μσ)−Φ(a−μσ)f(x;μ,σ,a,b)=1σϕ(x−μσ)Φ(b−μσ)−Φ(a−μσ)

 

• 其中 ϕ(⋅)ϕ(⋅)：均值為 0，方差為 1 的標准正態分布；

   

   
  ϕ(ξ)=12π−−√exp(−12ξ2)ϕ(ξ)=12πexp⁡(−12ξ2)

   

• Φ(⋅)Φ(⋅) 為標准正態分布的累積分布函數；

• 對其分母部分的一些簡單認識， 
  
  • b→∞b→∞，⇒ Φ(b−μσ)=1Φ(b−μσ)=1
  • a→−∞a→−∞ ⇒ Φ(a−μσ)=0