超參數：在機器學習中，超參數是在開始學習過程之前定義的參數，而不是通過訓練得到的參數；
過擬合：神經網絡模型在訓練數據集上的准確率較高，但此模型在新的數據進行預測或分類時准確率較低，則說明這個模型的泛化能力差。
正則化：在損失函數中給每個參數 w 加上權重，引入模型復雜度指標，從而抑制模型噪聲，減小過擬合。
使用正則化后，損失函數 loss 變為兩項之和
loss = loss(y 與 y_) + REGULARIZER*loss(w)
其中，第一項是預測結果與標准答案之間的差距，如之前講過的交叉熵、均方誤差等；第二項是正則化計算結果。
正則化計算方法：
𝒍𝒐𝒔𝒔𝑳𝟏 = ∑𝒊|𝒘𝒊| 對所有的w求和；
𝒍𝒐𝒔𝒔𝑳𝟐 = ∑𝒊|𝒘𝒊|𝟐 對所有的w2求和；
用 Tesnsorflow 函數實現正則化：
tf.add_to_collection('losses', tf.contrib.layers.l2_regularizer(regularizer)(w) #把計算好的正則化w加到losses集合中
loss = cem + tf.add_n(tf.get_collection('losses')) #把losses和cem(交叉熵）相加構成總損失函數例如：
用 300 個符合正態分布的點 X[x0, x1]作為數據集，根據點 X[x0, x1]計算生成標注 Y_，將數據集標注為紅色點和藍色點。
標注規則為：當 x02 + x12 < 2 時，y_=1，標注為紅色；當 x02 + x12 ≥2 時，y_=0，標注為藍色。
我們分別用無正則化和有正則化兩種方法，擬合曲線，把紅色點和藍色點分開。在實際分類時，如果前向傳播輸出的預測值 y 接近 1 則為紅色點概率越大，接近 0 則為藍色點概率越大，輸出的預測值 y 為 0.5 是紅藍點概率分界線。
本例中需要用到matplotlib 模塊：Python 中的可視化工具模塊，實現函數可視化 ;下面簡要講解一下安裝和使用說明；
matplotlib 模塊安裝：
我的系統環境ubuntu16.04LTS,系統默認的python版本為2.7；現在安裝用於數值計算和繪圖的包以及Sklearn 分別是numpy scipy matplotlib pandas 和 sklearn ；apt-get命令如下
sudo apt-get install python-numpy sudo apt-get install python-scipy sudo apt-get install python-matplotlib sudo apt-get install python-pandas sudo apt-get install python-sklearn
選擇安裝sudo apt-get install python-matplotlib；則安裝成功；
安裝成功后，在python代碼中導入；
import numpy as np
import matplotlib.pyplot as plt
函數 plt.scatter（）：利用指定顏色實現點(x,y)的可視化
plt.scatter (x 坐標, y 坐標, c=”顏色”)
plt.show()
收集規定區域內所有的網格坐標點：
xx, yy = np.mgrid[起:止:步長, 起:止:步長] #找到規定區域以步長為分辨率的行列網格坐標點
grid = np.c_[xx.ravel(), yy.ravel()] #收集規定區域內所有的網格坐標點
plt.contour()函數：告知 x、y 坐標和各點高度，用 levels 指定高度的點描上顏色
plt.contour (x 軸坐標值, y 軸坐標值, 該點的高度, levels=[等高線的高度]) plt.show()
其中:
xx,yy是對應的x，y坐標軸，
ravel()函數實現的功能是將多維數組降位一維
np.c_是按行連接兩個矩陣，也就是將x,y軸對應坐標配對，組成矩陣
plt.contour()函數：告知 x、y 坐標和各點高度，用 levels 指定高度的點描上顏色
plt.contour (x 軸坐標值, y 軸坐標值, 該點的高度, levels=[等高線的高度]) plt.show()
代碼如下：
#coding:utf-8 #0導入模塊 ，生成模擬數據集 import tensorflow as tf import numpy as np import matplotlib.pyplot as plt BATCH_SIZE = 30 seed = 2 #基於seed產生隨機數 rdm = np.random.RandomState(seed) #隨機數返回300行2列的矩陣，表示300組坐標點（x0,x1）作為輸入數據集 X = rdm.randn(300,2) #從X這個300行2列的矩陣中取出一行,判斷如果兩個坐標的平方和小於2，給Y賦值1，其余賦值0 #作為輸入數據集的標簽（正確答案） Y_ = [int(x0*x0 + x1*x1 <2) for (x0,x1) in X] #遍歷Y中的每個元素，1賦值'red'其余賦值'blue'，這樣可視化顯示時人可以直觀區分 Y_c = [['red' if y else 'blue'] for y in Y_] #對數據集X和標簽Y進行shape整理，第一個元素為-1表示，隨第二個參數計算得到，第二個元素表示多少列，把X整理為n行2列，把Y整理為n行1列 X = np.vstack(X).reshape(-1,2) Y_ = np.vstack(Y_).reshape(-1,1) print X print Y_ print Y_c #用plt.scatter畫出數據集X各行中第0列元素和第1列元素的點即各行的（x0，x1），用各行Y_c對應的值表示顏色（c是color的縮寫） plt.scatter(X[:,0], X[:,1], c=np.squeeze(Y_c)) plt.show() #定義神經網絡的輸入、參數和輸出，定義前向傳播過程 def get_weight(shape, regularizer): w = tf.Variable(tf.random_normal(shape), dtype=tf.float32) tf.add_to_collection('losses', tf.contrib.layers.l2_regularizer(regularizer)(w)) return w def get_bias(shape): b = tf.Variable(tf.constant(0.01, shape=shape)) return b x = tf.placeholder(tf.float32, shape=(None, 2)) y_ = tf.placeholder(tf.float32, shape=(None, 1)) w1 = get_weight([2,11], 0.01) b1 = get_bias([11]) y1 = tf.nn.relu(tf.matmul(x, w1)+b1) w2 = get_weight([11,1], 0.01) b2 = get_bias([1]) y = tf.matmul(y1, w2)+b2 #輸出層不過激活層函數 #定義損失函數 loss_mse = tf.reduce_mean(tf.square(y-y_)) loss_total = loss_mse + tf.add_n(tf.get_collection('losses')) #定義反向傳播方法：不含正則化 train_step = tf.train.AdamOptimizer(0.0001).minimize(loss_mse) with tf.Session() as sess: init_op = tf.global_variables_initializer() sess.run(init_op) STEPS = 40000 for i in range(STEPS): start = (i*BATCH_SIZE) % 300 end = start + BATCH_SIZE sess.run(train_step, feed_dict={x:X[start:end], y_:Y_[start:end]}) if i % 2000 == 0: loss_mse_v = sess.run(loss_mse, feed_dict={x:X, y_:Y_}) print("After %d steps, loss is: %f" %(i, loss_mse_v)) #xx在-3到3之間以步長為0.01，yy在-3到3之間以步長0.01,生成二維網格坐標點 xx, yy = np.mgrid[-3:3:.01, -3:3:.01] #將xx , yy拉直，並合並成一個2列的矩陣，得到一個網格坐標點的集合 grid = np.c_[xx.ravel(), yy.ravel()] #將網格坐標點喂入神經網絡 ，probs為輸出 probs = sess.run(y, feed_dict={x:grid}) #probs的shape調整成xx的樣子 probs = probs.reshape(xx.shape) print "w1:\n",sess.run(w1) print "b1:\n",sess.run(b1) print "w2:\n",sess.run(w2) print "b2:\n",sess.run(b2) plt.scatter(X[:,0], X[:,1], c=np.squeeze(Y_c)) plt.contour(xx, yy, probs, levels=[.5]) plt.show() #定義反向傳播方法：包含正則化 train_step = tf.train.AdamOptimizer(0.0001).minimize(loss_total) with tf.Session() as sess: init_op = tf.global_variables_initializer() sess.run(init_op) STEPS = 40000 for i in range(STEPS): start = (i*BATCH_SIZE) % 300 end = start + BATCH_SIZE sess.run(train_step, feed_dict={x: X[start:end], y_:Y_[start:end]}) if i % 2000 == 0: loss_v = sess.run(loss_total, feed_dict={x:X,y_:Y_}) print("After %d steps, loss is: %f" %(i, loss_v)) xx, yy = np.mgrid[-3:3:.01, -3:3:.01] grid = np.c_[xx.ravel(), yy.ravel()] probs = sess.run(y, feed_dict={x:grid}) probs = probs.reshape(xx.shape) print "w1:\n",sess.run(w1) print "b1:\n",sess.run(b1) print "w2:\n",sess.run(w2) print "b2:\n",sess.run(b2) plt.scatter(X[:,0], X[:,1], c=np.squeeze(Y_c)) plt.contour(xx, yy, probs, levels=[.5]) plt.show()
數據集實現可視化，x0*x0 + x1*x1 <2的點顯示紅色，其余顯示藍色，如圖
執行無正則化過程，將紅色和藍色的點分開，如下圖所示；
執行正則化過程，將紅色和藍色的點分開，如下圖所示；
從圖中可以看出，正則化的模型曲線平滑。