mnist識別優化——使用新的fashion mnist進行模型訓練

今天通過論壇偶然知道，在mnist之后，還出現了一個旨在代替經典mnist數據集的Fashion MNIST，同mnist一樣，它也是被用作深度學習程序的“hello world”，而且也是由70k張28*28的圖片組成的，它們也被分為10類，有60k被用作訓練，10k被用作測試。唯一的區別就是，fashion mnist的十種類別由手寫數字換成了服裝。這十種類別如下：

'T-shirt/top', 'Trouser', 'Pullover', 'Dress', 'Coat','Sandal', 'Shirt', 'Sneaker', 'Bag', 'Ankle boot'

設計流程如下：

　　· 首先獲取數據集，tensorflow獲取fashion mnist的方法和mnist類似，使用keras.datasets.fashion_mnist.load_data()即可

　　· 將數據集划分為訓練集和測試集

　　· 由於圖片像素值范圍是0-255，將數據集進行預處理，把像素值縮放到0到1的范圍（即除以255）

　　· 搭建網絡模型 （784→128(relu)→10(softmax)），全連接

　　· 編譯模型，設計損失函數（對數損失）、優化器(adam)以及訓練指標（accuracy）

　　· 訓練模型

　　· 評估准確性（測試數據使用matplotlib進行可視化）

 

關於Adam優化器的來源和特點請參考：https://www.jianshu.com/p/aebcaf8af76e

關於matplotlib數據可視化請參考：https://blog.csdn.net/xHibiki/article/details/84866887

 

訓練集部分數據可視化如下：

 

一共做了50輪訓練，訓練開始時的損失和精度如下：

 

 訓練完成時的損失和精度如下：

 

 模型在測試集上的表現如下：

 

 選擇測試集某張圖片的預測可視化結果如下：

 

 程序代碼如下：

import tensorflow as tf
from tensorflow import keras
import numpy as np
import matplotlib.pyplot as plt

# 導入fashion mnist數據集
fashion_mnist = keras.datasets.fashion_mnist
(train_images,train_labels),(test_images,test_labels) = fashion_mnist.load_data()

# 衣服類別
class_names = ['T-shirt/top','Trouser','Pullover','Dress','Coat','Sandal',
               'Shirt','Sneaker','Bag','Ankle boot']
print(train_images.shape,len(train_labels))
print(test_images.shape,len(test_labels))

# 查看圖片
plt.figure()
plt.imshow(train_images[0])
plt.colorbar()
plt.grid(False)
plt.show()

# 預處理數據，將像素值除以255，使其縮放到0到1的范圍
train_images = train_images / 255.0
test_images = test_images / 255.0

# 驗證數據格式的正確性，顯示訓練集前25張圖像並注明類別
plt.figure(figsize=(10,10))
for i in range(25):
    plt.subplot(5,5,i+1)
    plt.xticks([])
    plt.yticks([])
    plt.grid(False)
    plt.imshow(train_images[i],cmap=plt.cm.binary)
    plt.xlabel(class_names[train_labels[i]])
plt.show()

# 搭建網絡結構
model = keras.Sequential([
    keras.layers.Flatten(input_shape=(28,28)),
    keras.layers.Dense(128,activation='relu'),
    keras.layers.Dense(10,activation='softmax')
])

# 設置損失函數、優化器及訓練指標
model.compile(
    optimizer='adam',
    loss='sparse_categorical_crossentropy',
    metrics=['accuracy']
)

# 訓練模型
model.fit(train_images,train_labels,epochs=50)

# 模型評估
test_loss,test_acc=model.evaluate(test_images,test_labels,verbose=2)
print('/nTest accuracy:',test_acc)

# 選擇測試集中的圖像進行預測
predictions=model.predict(test_images)

# 查看第一個預測
print("預測結果：",np.argmax(predictions[0]))
# 將正確標簽打印出來和預測結果對比
print("真實結果：",test_labels[0])

# 以圖形方式查看完整的十個類的預測
def plot_image(i,predictions_array,true_label,img):
    predictions_array,true_label,img=predictions_array,true_label[i],img[i]
    plt.grid(False)
    plt.xticks([])
    plt.yticks([])

    plt.imshow(img,cmap=plt.cm.binary)

    predicted_label=np.argmax(predictions_array)
    if predicted_label==true_label:
        color='blue'
    else:
        color='red'

    plt.xlabel("{}{:2.0f}%({})".format(class_names[predicted_label],
                                       100*np.max(predictions_array),
                                       class_names[true_label]),
                                       color=color)

def plot_value_array(i,predictions_array,true_label):
    predictions_array,true_label=predictions_array,true_label[i]
    plt.grid(False)
    plt.xticks(range(10))
    plt.yticks([])
    thisplot=plt.bar(range(10),predictions_array,color="#777777")
    plt.ylim([0,1])
    predicted_label=np.argmax(predictions_array)

    thisplot[predicted_label].set_color('red')
    thisplot[true_label].set_color('blue')

i=10
plt.figure(figsize=(6,3))
plt.subplot(1,2,1)
plot_image(i,predictions[i],test_labels,test_images)
plt.subplot(1,2,2)
plot_value_array(i,predictions[i],test_labels)
plt.show()