TensorFlow(三）---------正則化

   TensorFlow正則化經常被用於Deep-Learn中，泛化數據模型，解決過擬合問題。再深度學習網絡只有在有足夠大的數據集時才能產生驚人的學習效果。當數據量不夠時，過擬合的問題就會經常發生。然而，只選取我們需要的數據量的模型，就會非常難以繼續進行泛化和優化。所以正則化技術孕育而生~~~~~~~

   正則化的基本思想是向損失函數添加一個懲罰項用於懲罰大的權重，隱式的減少自由參數的數量。可以達到彈性地適應不同數據量訓練的要求而不產生過擬合的問題。~~~~~~

---

#正則化
import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np

data = []
label = []
np.random.seed(0)
for i in range(150):
    x1 = np.random.uniform(-1,1)
    x2 = np.random.uniform(0,2)
    if x1**2+x2**2 <= 1:
        data.append([np.random.normal(x1,0.1),np.random.normal(x2,0.1)])
        label.append(0)
    else:
        data.append([np.random.normal(x1,0.1),np.random.normal(x2,0.1)])
        label.append(1)

data = np.hstack(data).reshape(-1,2)
label = np.hstack(label).reshape(-1,1)
plt.scatter(data[:,0],data[:,1],c=label,
           cmap="RdBu",vmin=-.2,vmax=1.2,edgecolor="white")
plt.show()

2.查看不同迭代中的變量取值的變化

v1 = tf.Variable(0,dtype=tf.float32)
step = tf.Variable(0,trainable=False)
ema = tf.train.ExponentialMovingAverage(0.99,step)
maintain_averages_op = ema.apply([v1])
with tf.Session() as sess:
    #初始化
    init_op = tf.global_variables_initializer()
    sess.run(init_op)
    print(sess.run([v1,ema.average(v1)]))
    #更新變量v1的取值
    sess.run(tf.assign(v1,5))
    sess.run(maintain_averages_op)
    print(sess.run([v1,ema.average(v1)]))
    #更新step和v1的取值
    sess.run(tf.assign(step,10000))
    sess.run(tf.assign(v1,10))
    sess.run(maintain_averages_op)
    print(sess.run([v1,ema.average(v1)]))
    #更新一次v1的滑動平均值
    sess.run(maintain_averages_op)
    print(sess.run([v1,ema.average(v1)]))
   

#結果

[0.0, 0.0]
[5.0, 4.5]
[10.0, 4.5549998]
[10.0, 4.6094499]

 

note:優化器optimizer

tf的7種優化器
最常用的: GradientDescentOptimizer

tf.train.Optimizer
tf.train.GradientDescentOptimizer
tf.train.AdadeltaOptimizer
tf.train.AdagradOptimizer
tf.train.AdagradDAOptimizer
tf.train.MomentumOptimizer
tf.train.AdamOptimizer
tf.train.FtrlOptimizer
tf.train.ProximalGradientDescentOptimizer
tf.train.ProximalAdagradOptimizer
tf.train.RMSPropOptimizer