二、tensorflow新手入門之MNIST初級教程

一、准備工作

1、MNIST概念

　　是一個識別手寫數字圖片的計算機視覺集，它包含各種手寫數字圖片和每張圖片對應的標簽

2、softmax回歸

　　softmax回歸是logistic回歸的一種，它是多元分類(包含二分類)。

　　sotfmax回歸可以把多分類任務多輸出轉換為各種類別的可能概率，把最大概率值對應的類別作為輸入樣本的輸出類別預測

　　sotfmax激活函數公式：

　　　　z^[l]=W^[l]a^[l]+b^[l]

　　　　g(z^[l])=e^(z[l])

　　理解sotfmax:

　　sotfmax的loss function：

　　　　單個樣本 L(ŷ ,y)=∑y_jlogŷ_j, j=[1,...,x] y為標簽值，ŷ為預測概率，x為輸入特征數量

　　　　樣本集J(w^[1],b^[1],…)=1/m∑L(ŷ ⁽ⁱ⁾,y⁽ⁱ⁾) 

　　sotfmax梯度下降公式：  ∂J/∂z^[L]=dz^[L]=ŷ −y

3、softmax數據集分析

　　訓練樣本：60000個(mnist.train)，其中55000個用於訓練，5000個用於驗證

　　測試樣本：10000個(mnist.test)

　　每一個MNIST數據單元包含兩部分：圖片(mnist.train.images)和標簽(mnist.train.labels)，每張圖片包含28像素X28像素，用向量表示長度是28X28=784，因此圖片(mnist.train.images)為[60000, 784]的張量，第一個維度用了索引圖片，第二個維度用來索引每張圖片的像素點，標簽介於0-9的數字，向量化表示為[1,0,0,0,0,0,0,0,0],因此標簽mnist.train.labels)為[60000, 10]的張量

二、實現回歸模型

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

mnist = input_data.read_data_sets('MNIST_data/', one_hot=True)

# 輸入特征占位
x = tf.placeholder('float', [None, 784])

# 權重和偏置值
W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))

# 預測值
y = tf.nn.softmax(tf.matmul(x,W) + b)

# 標簽占位
y_ = tf.placeholder('float', [None, 10])

# 計算損失函數
cross_entropy = -tf.reduce_sum(y_*tf.log(y))

# 梯度下降
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)

# 初始化所有變量
init = tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init)
    
    # 開始訓練模型
    for _ in range(1000):
        batch_xs, batch_ys = mnist.train.next_batch(100)
        sess.run(train_step, feed_dict={x: batch_xs, y_:batch_ys})
    
    # 評估模型效果
    correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
    accuracy = tf.reduce_mean(tf.cast(correct_prediction, 'float'))
    print(sess.run(accuracy, feed_dict={x: mnist.test.images, y_:mnist.test.labels}))