在Keras環境下構建多層感知器模型，對數字圖像進行精確識別。
模型不消耗大量計算資源，使用了cpu版本的keras，以Tensorflow 作為backended，在ipython交互環境jupyter notebook中進行編寫。
1.數據來源
在Yann LeCun的博客頁面上下載開源的mnist數據庫：
http://yann.lecun.com/exdb/mn…
此數據庫包含四部分：訓練數據集、訓練數據集標簽、測試數據集、測試數據集標簽。由於訓練模型為有監督類型的判別模型，因此標簽必不可少。若使用該數據集做k-means聚類，則不需要使用標簽。將數據整合之后放入user\.keras\datasets文件夾以供調用。
也可以直接從keras建議的url直接下載：
https://s3.amazonaws.com/img-…
其中訓練數據集包含了60000張手寫數字的圖片和這些圖片分別對應的標簽；測試數據集包含了10000張手寫數字的圖片和這些圖片分別對應的標簽.
2.數據格式和前期處理（在此不涉及）
訓練數據集包含60000張圖片，測試數據集包含10000張，所有圖片都被當量化為28pixel*28pixel的大小。為減少向量長度，將圖片灰度處理，每個像素用一個RGB值表示（0~255），這是因為灰度處理后的RGB值加了歸一約束，向量長度相是灰度處理前的1/3。至此，每個圖片都可以用28*28的向量表示。
3.導入依賴庫
打開jupyter notebook后導入依賴庫numpy,此處的seed為隨機量的標簽，可隨意設置:
|
1
2
3
|
from __future__ import print_function
import numpy as np
np.random.seed(9999)
|
繼續從keras中導入使用到的模塊：
|
1
2
3
4
5
|
from keras.datasets import mnist
from keras.models import Sequential
from keras.layers.core import Dense, Dropout, Activation
from keras.optimizers import SGD, Adam, RMSprop
from keras.utils import np_utils
|
mnist為之前准備的數據集，Dense為全連接神經元層，Dropout為神經元輸入的斷接率，Activation為神經元層的激勵函數設置。
導入繪圖工具，以便之后繪制模型簡化圖：
|
1
|
from keras.utils.vis_utils import plot_model as plot
|
4.處理導入的數據集
處理數據集
- 為了符合神經網絡對輸入數據的要求，原本為60000*28*28shape的三維ndarray,改變成了尺寸為60000*784的2維數組，每行為一個example，每一列為一個feature。
- 神經網絡用到大量線性與求導運算，將輸入的feature的數值類型改變為32位float。
- 將feature值歸一化，原本0~255的feature歸一為0~1。
- 測試數據集同理。
|
1
2
3
4
5
6
7
|
(X_train, y_train), (X_test, y_test) = mnist.load_data()
X_train = X_train.reshape(60000, 28*28)
X_test = X_test.reshape(10000, 28*28)
X_train = X_train.astype('float32')
X_test = X_test.astype('float32')
X_train /= 255
X_test /= 255
|
處理標簽
文本識別問題本質是一個多元分類問題。將類向量轉換為二進制數表示的類矩陣，其中每一行都是每一個example對應一個label。label為10維向量，每一位代表了此label對應的example屬於特定類（0~10）的概率。此時Y_train為60000*10的向量，Y_test為10000*10的向量
|
1
2
|
Y_train = np_utils.to_categorical(y_train, nb_classes)
Y_test = np_utils.to_categorical(y_test, nb_classes)
|
5.用keras建立神經網絡模型
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
batch_size = 128
nb_classes = 10
nb_epoch = 20
model = Sequential()
model.add(Dense(500, input_shape=(28*28,)))
model.add(Activation('relu'))
model.add(Dropout(0.2))
model.add(Dense(500))
model.add(Activation('relu'))
model.add(Dropout(0.2))
model.add(Dense(500))
model.add(Activation('relu'))
model.add(Dropout(0.2))
model.add(Dense(10))
model.add(Activation('softmax'))
|
每次iter時，每一批次梯度下降運算所包含的example數量為128；
softmax輸出值為10維向量；
一共迭代20次iteration。
三層的神經網絡，其中輸入層為28*28=784維的全連接層。
Hidden Layer有3層，每一層有500個神經元，input layer->hidden layer->output layer都是全連接方式（DENSE）。
hidden layer的激活函數采用ReLu函數，表達式：
如下圖所示：
相比與傳統的sigmoid函數，ReLU更容易學習優化。因為其分段線性性質，導致其前傳、后傳、求導都是分段線性。而傳統的sigmoid函數，由於兩端飽和，在傳播過程中容易丟棄信息。且Relu在x
文本識別本質是多元分類（此處為10元分類），因此輸出層采用softmax函數進行feature處理，如下圖所示：
其中第j個輸出層神經元輸出值與當層輸入feature的關系為：
該神經網絡示意圖如圖所示：
調用summary方法做一個總覽：
|
1
|
model.summary()
|
結果如下：
該神經網絡一共有898510個參數，即在后向反饋過程中，每一次用梯度下降都要求898510次導數。
用plot函數打印model：
|
1
|
plot(model, to_file='mlp_model.png'，show_shapes=True)
|
如下圖所示：
編譯模型，使用cross_entropy交叉熵函數作為loss function，公式如下圖所示：
用交叉熵可量化輸出向量與標簽向量的差異，p與q分別為輸出向量與標簽向量。對於每一個example，其交叉熵值就是要通過迭代盡量往小優化的值。優過程使用梯度算法，計算過程中使用反向傳播算法求導。
交叉熵的作用如下圖所示：
在此分類神經網絡中，使用判別結果的accuracy作為參數值好壞的度量標准。廈門叉車租賃
6.用數據訓練和測試網絡
|
1
2
3
|
history = model.fit(X_train, Y_train,
batch_size=batch_size, nb_epoch=nb_epoch,
verbose=1, validation_data=(X_test, Y_test))
|
在這個地方運行碰到warning，原因是最新版的keras使用的iteration參數名改成了epoch，而非之前沿用的nb_epoch。將上面的代碼作修改即可。
訓練結果如下所示。第一次迭代，通過對60000/128個的batch訓練，已經達到了比較好的結果，accuracy已經高達0.957。之后Loss值繼續下降，精確度繼續上升。從第9個itearation開始，loss函數值（交叉熵cross_entropy）開始震盪在0.05附近，accuracy保持在0.98以上。說明前9次迭代就已經訓練了足夠好的θ值和bias，不需要后11次訓練。
7.評估模型
用score函數打印模型評估結果：
|
1
2
3
|
score = model.evaluate(X_test, Y_test, verbose=0)
print('Test score:', score[0])
print('Test accuracy:', score[1])
|
輸出結果如下圖所示：
訓練的multi-layer_perceptron神經網絡在對數字文本識別時具有98.12%的准確率。
手寫數字圖片數據庫和Iris_Flower_dataset一樣，算是dl界的基本素材，可以拿來做很多事情，比如k-means聚類，LSTM(長短記憶網絡)。