前向傳播和反向傳播實戰（Tensor）

前面在mnist中使用了三個非線性層來增加模型復雜度，並通過最小化損失函數來更新參數，下面實用最底層的方式即張量進行前向傳播（暫不采用層的概念）。

主要注意點如下：

　　· 進行梯度運算時，tensorflow只對tf.Variable類型的變量進行記錄，而不對tf.Tensor或者其他類型的變量記錄

　　· 進行梯度更新時，如果采用賦值方法更新即w1=w1+x的形式，那么所得的w1是tf.Tensor類型的變量，所以要采用原地更新的方式即assign_sub函數，或者再次使用tf.Variable包起來（不推薦）

代碼如下：

import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import datasets
import os

os.environ['TF_CPP_MIN_LOG_LEVEL']='2'


# x:[60k,28,28]
# y:[60k]
(x,y),_=datasets.mnist.load_data()

x = tf.convert_to_tensor(x,dtype=tf.float32)/255.0
y = tf.convert_to_tensor(y,dtype=tf.int32)

print(x.shape,y.shape,x.dtype,y.dtype)
print(tf.reduce_min(x),tf.reduce_max(x))
print(tf.reduce_min(y),tf.reduce_max(y))

train_db=tf.data.Dataset.from_tensor_slices((x,y)).batch(128)
train_iter=iter(train_db)
sample=next(train_iter)
print('batch:',sample[0].shape,sample[1].shape)

# [b,784]=>[b,256]=>[b,128]=>[b,10]
# w shape[dim_in,dim_out] b shape[dim_out]
w1 = tf.Variable(tf.random.truncated_normal([784,256],stddev=0.1))
b1 = tf.Variable(tf.zeros([256]))

w2 = tf.Variable(tf.random.truncated_normal([256,128],stddev=0.1))
b2 = tf.Variable(tf.zeros([128]))

w3 = tf.Variable(tf.random.truncated_normal([128,10],stddev=0.1))
b3 = tf.Variable(tf.zeros([10]))

# 設置學習率
lr = 0.001
for epoch in range(10): # 對數據集迭代
    for step,(x,y) in enumerate(train_db):
        # x:[128,28,28] y:[128]
        x = tf.reshape(x,[-1,28*28])


        with tf.GradientTape() as tape: # tape只會跟蹤tf.Variable
            # x:[b,28*28]
            # [b,784]@[784,256]+[256]=>[b,256]+[256]
            h1 = x@w1 + b1
            h1 = tf.nn.relu(h1) # 去線性化
            h2 = h1@w2 + b2
            h2 = tf.nn.relu(h2) # 去線性化
            out = h2@w3 + b3

            # 計算損失
            y_onehot = tf.one_hot(y,depth=10)
            # mse = mean(sum(y-out)^2)
            loss = tf.square(y_onehot - out)
            # mean:scalar
            loss = tf.reduce_mean(loss)

        # 計算梯度
        grads = tape.gradient(loss,[w1,b1,w2,b2,w3,b3])
        # w1 = w1 -lr * w1_grad
        w1.assign_sub(lr * grads[0]) # 原地更新
        b1.assign_sub(lr * grads[1])
        w2.assign_sub(lr * grads[2])
        b2.assign_sub(lr * grads[3])
        w3.assign_sub(lr * grads[4])
        b3.assign_sub(lr * grads[5])

        if step % 100 == 0:
            print('epoch = ',epoch,'step =',step,'，loss =',float(loss))

效果如下：