【機器學習】李宏毅機器學習-Keras-Demo-神經網絡手寫數字識別與調參

參考：

• 原視頻：李宏毅機器學習-Keras-Demo

• 調參博文1：深度學習入門實踐_十行搭建手寫數字識別神經網絡

• 調參博文2：手寫數字識別---demo（有小錯誤）

• 代碼鏈接：

編程環境：

• 操作系統：win7 - CPU

• anaconda-Python3-jupyter notebook

• tersonFlow：1.10.0

• Keras：2.2.4

背景：

• 視頻里寶可夢大師提供的部分參數設置不能得到好的結果，這里記錄一下后續調參

1-載入數據報錯的問題：

• 載入數據運行時報錯：[WinError 10054] 遠程主機強迫關閉了一個現有的連接

• 解決方案詳情參考博文：【問題解決方案】Keras手寫數字識別-ConnectionResetError: [WinError 10054]

• 后續是：最終仍然報錯，沒辦法只好搭梯子硬着頭皮在線載入數據，最后也成了，贊啦~

2-測試程序是否正常

• 打印一下某個矩陣的形狀，沒有報錯一切正常

3-運行原始代碼

• 按照李宏毅老師視頻里講的全是坑代碼運行看看效果

4-對神經網絡進行調參

改動地方主要為：

• 激勵函數由sigmoid改為relu

• loss function由mse改為categorical_crossentropy

• 增加了Dropout，防止過擬合

• 改動后的代碼為

# 選model
model = Sequential()

# 搭建神經網絡
# 改動：4點
# 1-中間層units由633改為700
# 2-激活函數由sigmoid改為relu
# 3-原四個Dense，刪去一個中間層，只留三個Dense
# 4-在三個Dense的每兩個Dense中間加入Dropout
# batch-epochs=100,20時，三Dense好於四Dense
# batch-epochs=1,2時，三Dense好於四Dense
model.add(Dense(input_dim=28*28, units=700, activation='relu'))
model.add(Dropout(0.2))
model.add(Dense(units=700, activation='relu'))
model.add(Dropout(0.2))
model.add(Dense(units=10, activation='softmax'))

# 自選loss Function等參數
# 改動：1點
# 1-loss function由mse改為categorical_crossentropy
model.compile(loss='mse', optimizer=SGD(lr=0.1), metrics=['accuracy'])

# train模型
# 改動：1點
# 1-參數列表最后加一個validation_split（交叉驗證？）
# 2-batch-size=1, epochs=2時，acc變為0.9314(3個Dense)，0.9212（4個Dense）
model.fit(x_train, y_train, batch_size=1, epochs=2, validation_split=0.05)

# 測試結果，並打印accuracy
result = model.evaluate(x_test, y_test)
print('\nTest loss:', result[0])
print('\nAccuracy:', result[1])

5-結果分析

• 貌似相同參數，不同train回合，得到的結果還有細微的差別。。。

總結：

• 無論如何，總算DL-hello world達成了，好的開始就是成功的一半，再接再厲！

END