TensorFlow——dropout和正則化的相關方法

1.dropout

dropout是一種常用的手段，用來防止過擬合的，dropout的意思是在訓練過程中每次都隨機選擇一部分節點不要去學習，減少神經元的數量來降低模型的復雜度，同時增加模型的泛化能力。雖然會使得學習速度降低，因而需要合理的設置保留的節點數量。

在TensorFlow中dropout的函數原型如下：def dropout(x, keep_prob, noise_shape=None, seed=None, name=None)，各個參數的意義如下：

x：輸入的模型節點

keep_prob：保持節點的比率，如果為1，則表示全部節點參與學習，如果為0.8，則表示丟棄20%的節點。

noise_shape：設置指定的x中參與dropout計算的維度，如果為None，則表示所有的維度都參與計算，也可以設定某個維度，例如：x的形狀為[ n, len, w, ch]，使用noise_shape為[n, 1, 1, ch]，這表明會對x中的第二維度和第三維度進行dropout。

dropout改變了神經網絡的網絡結構，它僅僅是屬於訓練時的方法，所以在進行測試時要將dropout的keep_porb的值為1。

x = tf.placeholder(tf.float32, [None, 784])
y = tf.placeholder(tf.float32, [None, 10])

keep_prob = tf.placeholder(tf.float32)

w1 = tf.Variable(tf.random_normal([784, 30]))
b1 = tf.Variable(tf.zeros([30]))
w_h_1 = tf.add(tf.matmul(x, w1), b1)
w_h_r_1 = tf.nn.sigmoid(w_h_1)
w_h_r_drop_1 = tf.nn.dropout(w_h_r_1, keep_prob=keep_prob)

w2 = tf.Variable(tf.random_normal([30, 30]))
b2 = tf.Variable(tf.zeros([30]))
w_h_2 = tf.add(tf.matmul(w_h_r_drop_1, w2), b2)
w_h_r_2 = tf.nn.sigmoid(w_h_2)
w_h_r_drop_2 = tf.nn.dropout(w_h_r_2, keep_prob=keep_prob)

w3 = tf.Variable(tf.random_normal([30, 30]))
b3 = tf.Variable(tf.zeros([30]))
w_h_3 = tf.add(tf.matmul(w_h_r_drop_2, w3), b3)
w_h_r_3 = tf.nn.sigmoid(w_h_3)
w_h_r_drop_3 = tf.nn.dropout(w_h_r_3, keep_prob=keep_prob)

w4 = tf.Variable(tf.random_normal([30, 10]))
b4 = tf.Variable(tf.zeros([10]))
w_h_4 = tf.add(tf.matmul(w_h_r_drop_3, w4), b4)
w_h_r_4 = tf.nn.softmax(w_h_4)
pred = tf.nn.dropout(w_h_r_4, keep_prob=keep_prob)


cost = tf.reduce_mean(tf.reduce_sum(tf.square(pred - y)))

feed_dict={x:batch_xs, y:batch_ys, keep_prob:0.7}

2.正則化

正則化是在神經網絡計算損失值的過程中，在損失后面再加上一項。這樣損失值所代表的輸出與標准結果間的誤差就會受到干擾，導致學習參數w 和 b無法按照目標方向來調整，實現模型無法與樣本完全擬合，從而達到防止過擬合的效果。正則化主要有L1和L2正則，如下：

L1:所有學習參數w的絕對值的和

L2:所有學習參數w的平方和然后求平方根。

如此，損失函數表達式如下：

在TensorFlow中，已經封裝好了相應的函數，L2的正則化函數為：tf.nn.l2_loss(t, name=None)，L1的正則化函數需要自己組合，tf.reduce_sum(tf.abs(w))

L2 = tf.nn.l2_loss(w1) + tf.nn.l2_loss(w2) + tf.nn.l2_loss(w3) +tf.nn.l2_loss(w4)

cost = tf.reduce_mean(tf.reduce_sum(tf.square(pred - y))) + L2*0.01

在使用正則化的時候，我們為正則化項設置一個權重的系數，注意這個權重系數的值，可以通過不斷嘗試來確定權重系數的值。