在《手寫數字識別——利用Keras高層API快速搭建並優化網絡模型》一文中，我們搭建了全連接層網絡，准確率達到0.98，但是這種網絡的參數量達到了近24萬個。本文將搭建LeNet-5網絡，參數僅有6萬左右，該網絡是由Yann LeCun在1998年提出，是歷史上第一代卷積神經網絡。關於其歷史可閱讀另一篇博客《冬日曙光——回溯CNN的誕生》。
模型結構
LeNet-5提出至今過去了很久，因此其中的很多算法都已經被代替，因此本文所建網絡與LeNet-5會有所差異。LeNet-5結構如下圖所示，原結構可簡單概括為：
input(32*32*1)->Conv(28*28*6)->tanh->AvgPool(14*14*6)->tanh->（局部通道連接）Conv(10*10*16)->tanh->AvgPool(5*5*16)->tanh->Conv(1*1*120)->tanh->fc(84)->RBF->out(10)
本文采用的結構為：
input(28*28*1)->Conv(28*28*6)->ReLu->MaxPool(14*14*6)->Conv(10*10*16)->ReLu->MaxPool(5*5*16)->Conv(1*1*120)->ReLu->fc(84)->out(10)
數據導入與預處理
跟全連接網絡的預處理不同，這里的預處理有以下三個變化：
1.輸入采用了z-score 標准化，使均值約為0，標准差約為1。過程類似於將正態分布進行標准化一樣。實際證明，這種方法比之前直接除以255收斂更快、准確度更高。
2.不需要將輸入打平，而且還得填充1個維度作為通道，目的是使shape符合輸入層維度。
3.標簽值編成獨熱碼后，還需擴充兩個維度，可以跟輸出層維度數相同。
標准化需要用到均值函數np.mean(a,axis=None,dtype=None)和標准差函數np.std(a,axis=None,dtype=None)。數據導入和預處理代碼如下：
import tensorflow as tf import numpy as np from tensorflow.keras import datasets,optimizers,Sequential,layers,metrics #數據預處理 def preprocess(x,y): #z-score 標准化 x = (tf.cast(x,dtype=tf.float32)-mean)/std x = tf.reshape(x,(-1,28,28,1)) y = tf.one_hot(y,depth=10,dtype=tf.int32) y = tf.reshape(y,(-1,1,1,10)) return x,y #加載mnist數據 #trian_x -> shape(60k,28,28) val_x -> shape(10k,28,28) #trian_y -> shape(60k,10) val_y -> shape(10k,10) (train_x,train_y),(val_x,val_y) = datasets.mnist.load_data() mean = np.mean(train_x) std = np.std(train_x) #生成Dataset對象 #bacthx -> shape(128,28,28) dtype=tf.uint8 #bacthy -> shape(128,10) dtype=tf.uint8 train_db = tf.data.Dataset.from_tensor_slices((train_x,train_y)).shuffle(1000).batch(128) val_db = tf.data.Dataset.from_tensor_slices((val_x,val_y)).shuffle(1000).batch(128) #特征縮放、獨熱碼處理 train_db = train_db.map(preprocess) val_db = val_db.map(preprocess)
模型構建
生成卷積層需要使用layers.Conv2D(filters,kernel_size,strides=(1,1),padding="valid",activation)，其中filters表示輸出通道數(濾波器數量)，kernel_size為濾波器大小，strides為卷積步長，padding為邊界處理方式(valid表示不進行邊界擴展，same表示進行邊界擴展)，activation一般選擇ReLu。
生成池化層需要使用layers.MaxPool2D(pool_size,strides,padding="valid")，一般習慣把MaxPool的padding設為“same”，通過步長來控制縮小倍數。在這里步長為2，每次池化都會將大小減半。
MNIST數據集圖片大小為28*28，為了跟LeNet保持一致，第一層卷積沒有改變大小，因此padding設為"same"。我把所有全連接層用卷積形式代替了，這樣可以避免卷積層輸出和全連接層輸入之間維度的差異(卷積輸出需要被打平)，從而可以用一個Sequential容器裝下所有神經層。
模型構建代碼如下：
model = Sequential([ #input -> shape(128,28,28,1) #C1 -> shape(128,28,28,6) layers.Conv2D(6,kernel_size=5,strides=1,padding='same',activation=tf.nn.relu), #S2 -> shape(128,14,14,6) layers.MaxPool2D(pool_size=(2,2),strides=2,padding='same'), #C3 -> shape(128,10,10,16) layers.Conv2D(16,kernel_size=5,strides=1,activation=tf.nn.relu), #S4 -> shape(128,5,5,16) layers.MaxPool2D(pool_size=(2,2),strides=2,padding='same'), #C5 -> shape(128,1,1,120) layers.Conv2D(120,kernel_size=5,strides=1,activation=tf.nn.relu), #卷積轉到全連接維數不對應導致不能訓練 # #F6 ->shape(128,84) # layers.Dense(84,activation=tf.nn.relu), # #output ->shape(128,10) # layers.Dense(10) #F6 ->shape(128,1,1,84) layers.Conv2D(84,kernel_size=1,strides=1,activation=tf.nn.relu), #output ->shape(128,1,1,10) layers.Conv2D(10,kernel_size=1,strides=1) ]) model.build(input_shape=(None,28,28,1)) model.summary()
模型的訓練
LeNet-5當時使用的是隨機梯度下降和分段學習率，現在更多都交給Adam了。這里給出了兩種實現，一種利用fit的回調進行手動學習率調整，可能需要花點時間調參，另一種則使用Adam自動管理。在SGD下，因為是隨機取樣，所以Loss相對較小，需要比較大的學習率。
當年LeNet-5迭代20次后收斂，准確率可以達到0.9905。本文SGD版在迭代12次后能達到0.9900水平，在18次時收斂，准確率穩定在0.9917；Adam版在迭代20次收斂於0.9892。也就是說，在普遍使用Adam的今天，SGD(TensorFlow里SGD經過了動量的優化)也是值得一試的。
Adam版：
model.compile(optimizer=optimizers.Adam(), loss=tf.losses.CategoricalCrossentropy(from_logits=True), metrics=['accuracy']) model.fit(train_db,epochs=15,validation_data=val_db,validation_freq=1)
SGD+分段學習率版：
def scheduler(epoch): if epoch < 10: return 0.1 else: return 0.1 * np.exp(0.2 * (10 - epoch))#新建LearningRateScheduler對象 callback = tf.keras.callbacks.LearningRateScheduler(scheduler,verbose=1) model.compile(optimizer=optimizers.SGD(), loss=tf.losses.CategoricalCrossentropy(from_logits=True), metrics=['accuracy']) model.fit(train_db,epochs=20,validation_data=val_db,validation_freq=1,callback
完整代碼
import tensorflow as tf import numpy as np from tensorflow.keras import datasets,optimizers,Sequential,layers,metrics #數據預處理 def preprocess(x,y): #z-score 標准化 x = (tf.cast(x,dtype=tf.float32)-mean)/std x = tf.reshape(x,(-1,28,28,1)) y = tf.one_hot(y,depth=10,dtype=tf.int32) y = tf.reshape(y,(-1,1,1,10)) return x,y #加載mnist數據 #trian_x -> shape(60k,28,28) val_x -> shape(10k,28,28) #trian_y -> shape(60k,10) val_y -> shape(10k,10) (train_x,train_y),(val_x,val_y) = datasets.mnist.load_data() mean = np.mean(train_x) std = np.std(train_x) #生成Dataset對象 #bacthx -> shape(128,28,28) dtype=tf.uint8 #bacthy -> shape(128,10) dtype=tf.uint8 train_db = tf.data.Dataset.from_tensor_slices((train_x,train_y)).shuffle(1000).batch(128) val_db = tf.data.Dataset.from_tensor_slices((val_x,val_y)).shuffle(1000).batch(128) #特征縮放、獨熱碼處理 train_db = train_db.map(preprocess) val_db = val_db.map(preprocess) model = Sequential([ #input -> shape(128,28,28,1) #C1 -> shape(128,28,28,6) layers.Conv2D(6,kernel_size=5,strides=1,padding='same',activation=tf.nn.relu), #S2 -> shape(128,14,14,6) layers.MaxPool2D(pool_size=(2,2),strides=2,padding='same'), #C3 -> shape(128,10,10,16) layers.Conv2D(16,kernel_size=5,strides=1,activation=tf.nn.relu), #S4 -> shape(128,5,5,16) layers.MaxPool2D(pool_size=(2,2),strides=2,padding='same'), #C5 -> shape(128,1,1,120) layers.Conv2D(120,kernel_size=5,strides=1,activation=tf.nn.relu), #F6 ->shape(128,1,1,84) layers.Conv2D(84,kernel_size=1,strides=1,activation=tf.nn.relu), #output ->shape(128,1,1,10) layers.Conv2D(10,kernel_size=1,strides=1) ]) model.build(input_shape=(None,28,28,1)) model.summary() #Adam版 # model.compile(optimizer=optimizers.Adam(), # loss=tf.losses.CategoricalCrossentropy(from_logits=True), # metrics=['accuracy']) # model.fit(train_db,epochs=20,validation_data=val_db,validation_freq=1) #SGD版 def scheduler(epoch): if epoch < 10: return 0.1 else: return 0.1 * np.exp(0.2 * (10 - epoch)) # #新建LearningRateScheduler對象 callback = tf.keras.callbacks.LearningRateScheduler(scheduler,verbose=1) model.compile(optimizer=optimizers.SGD(), loss=tf.losses.CategoricalCrossentropy(from_logits=True), metrics=['accuracy']) model.fit(train_db,epochs=20,validation_data=val_db,validation_freq=1,callbacks=[callback])