（五） Keras Adam優化器以及CNN應用於手寫識別

視頻學習來源

https://www.bilibili.com/video/av40787141?from=search&seid=17003307842787199553

筆記

Adam，常用優化器之一

大多數情況下，adma速度較快，達到較優值迭代周期較少，

一般比SGD效果好

CNN應用於手寫識別

import numpy as np
from keras.datasets import mnist  #將會從網絡下載mnist數據集
from keras.utils import np_utils
from keras.models import Sequential  #序列模型
#Convolution2D 是2維卷積
#MaxPooling2D 是2維最大池化
#Flatten 數據扁平化（降維）
from keras.layers import Dense,Dropout,Convolution2D,MaxPooling2D,Flatten  #在這里導入dropout
from keras.optimizers import Adam

C:\Program Files (x86)\Microsoft Visual Studio\Shared\Anaconda3_64\lib\site-packages\h5py\__init__.py:36: FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as `np.float64 == np.dtype(float).type`.

from ._conv import register_converters as _register_converters

Using TensorFlow backend.

#載入數據
(x_train,y_train),(x_test,y_test)=mnist.load_data()
#查看格式
#（60000,28,28）
print('x_shape:',x_train.shape)
#（60000）
print('y_shape:',y_train.shape)

#轉化為4維
#最后一個維度圖片深度，1表示黑白，3表示彩色
#rgb是紅綠藍三通道0-255表示各個通道的顏色深度
#（60000,28,28）->(60000,28,28,1)
#-1表示自動設置
#除以255是做數據歸一化處理
x_train=x_train.reshape(-1,28,28,1)/255.0 #轉換數據格式
x_test=x_test.reshape(-1,28,28,1)/255.0 #轉換數據格式
#label標簽轉換成 one  hot 形式
y_train=np_utils.to_categorical(y_train,num_classes=10) #分成10類
y_test=np_utils.to_categorical(y_test,num_classes=10) #分成10類

#定義序列模型
model=Sequential()

#第一個卷積層
#input_shape 輸入平面
#filters 卷積核/濾波器個數
#kernel_size 卷積窗口大小
#strides 步長
#padding padding方式 same/valid
#activation 激活函數
model.add(Convolution2D(
    input_shape=(28,28,1),#只需要在第一次添加輸入平面
    filters=32,
    kernel_size=5,
    strides=1,
    padding='same',
    activation='relu'
))

#平面大小28x28，用same padding得到的和上一次一樣，也是28x28，有32個特征圖
#池化后變成14x14,32個特征圖

#第一個池化層
model.add(MaxPooling2D(
    pool_size=2,  # 池化窗口大小 2x2的窗口
    strides=2,
    padding='same'
))

#第二個卷積層
#filters=64 kernel_seize=5  
model.add(Convolution2D(64,5,strides=1,padding='same',activation='relu'))

#第二個卷積層后64個特征圖，14x14
#第二個池化層后64個特征圖，7x7

#第二個池化層
model.add(MaxPooling2D(2,2,'same'))

#把第二個池化層的輸出扁平化為1維
#長度 64x7x7 
model.add(Flatten())

#第一個全連接層
#1024個神經元
model.add(Dense(1024,activation='relu'))

#Dropout
#訓練時百分之40個神經元不工作
model.add(Dropout(0.4))

#第二個全連接層
model.add(Dense(10,activation='softmax'))

#定義優化器
#學習速率為10的負4次方
adam=Adam(lr=1e-4)


#定義優化器，損失函數，訓練效果中計算准確率
model.compile(
    optimizer=adam, #sgd優化器
    loss='categorical_crossentropy',  #損失用交叉熵，速度會更快
    metrics=['accuracy'],  #計算准確率
)

#訓練
#六萬張，每次訓練64張，訓練10個周期（六萬張全部訓練完算一個周期）
model.fit(x_train,y_train,batch_size=64,epochs=10)

#評估模型
loss,accuracy=model.evaluate(x_test,y_test)

print('\ntest loss',loss)
print('\ntest accuracy',accuracy)

loss,accuracy=model.evaluate(x_train,y_train)

print('\ntrain loss',loss)
print('\ntrain accuracy',accuracy)

x_shape: (60000, 28, 28)

y_shape: (60000,)

Epoch 1/10

60000/60000 [==============================] - 251s 4ms/step - loss: 0.3163 - acc: 0.9127

Epoch 2/10

60000/60000 [==============================] - 263s 4ms/step - loss: 0.0861 - acc: 0.9745

Epoch 3/10

60000/60000 [==============================] - 275s 5ms/step - loss: 0.0606 - acc: 0.9812

Epoch 4/10

60000/60000 [==============================] - 266s 4ms/step - loss: 0.0469 - acc: 0.9858

Epoch 5/10

60000/60000 [==============================] - 264s 4ms/step - loss: 0.0392 - acc: 0.9878

Epoch 6/10

60000/60000 [==============================] - 267s 4ms/step - loss: 0.0333 - acc: 0.9894

Epoch 7/10

60000/60000 [==============================] - 272s 5ms/step - loss: 0.0284 - acc: 0.9915

Epoch 8/10

60000/60000 [==============================] - 267s 4ms/step - loss: 0.0255 - acc: 0.9921

Epoch 9/10

60000/60000 [==============================] - 268s 4ms/step - loss: 0.0209 - acc: 0.9934

Epoch 10/10

60000/60000 [==============================] - 256s 4ms/step - loss: 0.0185 - acc: 0.9944

10000/10000 [==============================] - 14s 1ms/step

test loss 0.020771756899070168

test accuracy 0.9934

60000/60000 [==============================] - 78s 1ms/step

train loss 0.009774932912984514

train accuracy 0.9973666666666666