神經網絡的訓練的大致流程

batch_size = n

# 每次讀取一小部分數據作為當前的訓練數據來執行反向傳播算法
x = tf.placeholder(tf.float32, shape=(batch_size, feature_num), name="x-input")
y_= tf.placeholder(tf.float32, shape=(batch_size, 1), name='y-input')

# 定義神經網絡結構和優化算法
loss = ...
# loss = -tf.reduce_mean(y_ * tf.log(tf.clip_by_value(y, 1e-10, 1.0)))    ## cross_entropy(交叉熵)
learning_rate = 0.001

#定義反向傳播算法 
train_step = tf.train.AdamOptimizer(learning_rate).minimize(loss)  # 優化算法

# 訓練神經網絡
with tf.Session() as sess:
    # 參數初始化
    init_op = tf.global_variables_initializer()
    sess.run(init_op)
    
    ...
    
    # 訓練模型。
    STEPS = ...
    # 迭代的更新參數
    for i in range(STEPS):
        # 准備batch_size個訓練數據。一般將所有訓練數據打亂之后再選取可以得到更好的優化效果。
        current_X, current_Y = ...
        # 對`tf.GraphKeys.TRAINABLE_VARIABLES`集合中的變量進行優化，使得當前batch下損失最小
        sess.run(train_step, feed_dict = {x : current_X, y : current_Y})