1、 tensorflow簡介
Tensorflow 是 google 開源的機器學習工具，在2015年11月其實現正式開源，開源協議Apache 2.0。
Tensorflow采用數據流圖（data flow graphs）來計算, 所以首先我們得創建一個數據流流圖,然后再將我們的數據（數據以張量(tensor)的形式存在）放在數據流圖中計算. 節點（Nodes）在圖中表示數學操作,圖中的邊（edges）則表示在節點間相互聯系的多維數據數組, 即張量（tensor).訓練模型時tensor會不斷的從數據流圖中的一個節點flow到另一節點, 這就是TensorFlow名字的由來.
張量（Tensor):張量有多種. 零階張量為 純量或標量 (scalar) 也就是一個數值. 比如 [1],一階張量為 向量 (vector), 比如 一維的 [1, 2, 3],二階張量為 矩陣 (matrix), 比如 二維的 [[1, 2, 3],[4, 5, 6],[7, 8, 9]],以此類推, 還有三維以上的多維。
2、 tensorflow基礎
實際上編寫tensorflow可以總結為兩步.
（1）組裝一個graph;
（2）使用session去執行graph中的operation。
2.1、概念說明
下面是 graph , session , operation , tensor 四個概念的簡介。
Tensor：類型化的多維數組，圖的邊；
Operation:執行計算的單元，圖的節點；
Graph：一張有邊與點的圖，其表示了需要進行計算的任務；
Session:稱之為會話的上下文，用於執行圖。
2.2、一個例子：
import tensorflowas tf
import numpyas np
#tensorflow中大部分數據是float32
# create real data 用numpy生成訓練數據
x_data= np.random.rand(100).astype(np.float32)
y_data= x_data* 0.1 + 0.3
### create tensorflow structure start! ###
# 定義變量 用tf.Variable來定義變量w和b
Weights= tf.Variable(tf.random_uniform([1], -1.0, 1.0))
biases= tf.Variable(tf.zeros([1]))
# 定義如何計算預測值
y= Weights* x_data+ biases
# 損失函數 平方損失函數
loss= tf.reduce_mean(tf.square(y- y_data))
# 梯度下降優化器,定義learning rate optimizer = 優化器
optimizer= tf.train.GradientDescentOptimizer(0.5)
# 訓練目標是損失最小化
train= optimizer.minimize(loss)
# 初始化變量， 即初始化weights和biases
init= tf.global_variables_initializer()
# 創建session，進行參數初始化
sess= tf.Session()
sess.run(init)
# 開始訓練200步， 每20步輸出一下兩個參數
for stepin range(201):
sess.run(train)
if step% 20 == 0:
print(step, sess.run(Weights), sess.run(biases))
### create tensorflow structure end ###
在上面的例子中，我們想要預測的方程式y=0.1*x + 0.3,給定訓練樣本，通過梯度下降法來預測參數W和偏置b，我們使用numpy生成了我們的訓練數據：
x_data = np.random.rand(100).astype(np.float32)
y_data = x_data * 0.1 + 0.3
隨后，我們使用tf.Variable定義了我們的變量Weights和biases(以下簡稱w和b），Weights通過一個均勻分布隨機產生，而bias則設置為0，同時二者的形狀均為1維，即就是一個數：
Weights = tf.Variable(tf.random_uniform([1],-1.0,1.0))
biases = tf.Variable(tf.zeros([1]))
好了，有了變量，我們想要學習w和b，只需要用訓練數據x來得到預測值，最小化預測值和實際值的差距就好，所以，我們定義了損失函數為平方損失函數，並通過0.5學習率的梯度下降法來進行參數調整：
#如何計算預測值
y = Weights * x_data + biases# loss functionloss = tf.reduce_mean(tf.square(y-y_data))
#梯度下降優化器，定義learning rate
optimizer = tf.train.GradientDescentOptimizer(0.5)
#訓練目標是loss最小化
train = optimizer.minimize(loss)
在tf中定義的變量都需要經過初始化的操作，所以我們定義了一個初始化變量的操作：
#初始化變量，即初始化 Weights 和 biases
init = tf.global_variables_initializer()
接下來我們就可以開始訓練了，訓練必須創建一個session，通過run方法對指定的節點進行訓練，這里一定要注意先要對參數進行初始化，否則后面是無法開始訓練的。想要觀察訓練過程中的參數變化的話，也需要通過run方法：
# 創建session，進行參數初始化
# 開始訓練200步， 每20步輸出一下兩個參數
for step in range(201):
sess.run(train)
if step% 20 == 0:
print(step, sess.run(Weights), sess.run(biases))
這里我們直接run的是train這一步，想要運行這一步，必須先得到optimizier和loss，想要得到loss就要得到預測值....依次往前推，所以run(train)實際上就是對整個tensor流圖的訓練。
最后貼出來看一下輸出結果：
0 [-0.05120224] [ 0.5192185]
20 [ 0.04687011] [ 0.32806551]
40 [ 0.08647783] [ 0.307143]
60 [ 0.09655845] [ 0.30181798]
80 [ 0.09912409] [ 0.30046269]
100 [ 0.09977707] [ 0.30011776]
120 [ 0.09994329] [ 0.30002996]
140 [ 0.09998558] [ 0.30000764]
160 [ 0.09999632] [ 0.30000195]
180 [ 0.09999906] [ 0.30000052]
200 [ 0.09999976] [ 0.30000013]
2.3、數據結構
Tensorflow的數據結構有着rank,shape,data types的概念，下面來分別講解。
（1）rank
Rank一般是指數據的維度，其與線性代數中的rank不是一個概念。
例如我們所說的標量(Scalar)：
s = 8,維數為 0，所以它的 rank 為 0。
例如矢量(Vector)：
v = [1, 2, 3]，rank 為 1。
例如矩陣(Matrix)：
一個二維矩陣 rank 為 2
又例如 rank 為 3 的 tensor：
t = [[[2], [4], [6]], [[8], [10], [12]], [[14], [16], [18]]],以此類推。
（2）shape
tensorflow 用 3 種方式描述一個 tensor 的維數：
rank, shape(shape指tensor每個維度數據的個數), 以及 dimension number (維數)
所以 shape 和 rank 的意思的一樣的，只是表達的形式不同。
shape 寫成只包含整數的 list 或者 tuple 形式，例如 [1, 4, 2]
（3）datatype
tensor 的數據結構除了 維數(dimensionality)，還有 數據類型(data type)。
例如 32位浮點數(32 bits floating point) 等等，可以從下面的鏈接中查看完整的：
https://www.tensorflow.org/programmers_guide/dims_types#data_types
3、 Variables
（1）介紹
當訓練模型時，需要使用Variables保存與更新參數。Variables會保存在內存當中，所有tensor一旦擁有Variables的指向就不會在session中丟失。其必須明確的初始化而且可以通過Saver保存到磁盤上。Variables可以通過Variables初始化。
weights = tf.Variable(tf.random_normal([784, 200], stddev=0.35),name="weights")
biases = tf.Variable(tf.zeros([200]), name="biases")
其中，tf.random_normal是隨機生成一個正態分布的tensor，其shape是第一個參數，stddev是其標准差。tf.zeros是生成一個全零的tensor。之后將這個tensor的值賦值給Variable。
（2）初始化
實際在其初始化過程中做了很多的操作，比如初始化空間，賦初值（等價於tf.assign），並把Variable添加到graph中等操作。注意在計算前需要初始化所有的Variable。一般會在定義graph時定義global_variables_initializer，其會在session運算時初始化所有變量。
直接調用global_variables_initializer會初始化所有的Variable，如果僅想初始化部分Variable可以調用tf.variables_initializer。
Init_ab = tf.variables_initializer([a,b],name=”init_ab”)
Variables可以通過eval顯示其值，也可以通過assign進行賦值。Variables支持很多數學運算，具體可以參照官方文檔。
（3）Variables與constant的區別
值得注意的是Variables與constant的區別。Constant一般是常量，可以被賦值給Variables，constant保存在graph中，如果graph重復載入那么constant也會重復載入，其非常浪費資源，如非必要盡量不使用其保存大量數據。而Variables在每個session中都是單獨保存的，甚至可以單獨存在一個參數服務器上。可以通過代碼觀察到constant實際是保存在graph中。
（4）命名
另外一個值得注意的地方是盡量每一個變量都明確的命名，這樣易於管理命令空間，而且在導入模型的時候不會造成不同模型之間的命名沖突，這樣就可以在一張graph中容納很多個模型。
4、 placeholders與feed_dict
當我們定義一張graph時，有時候並不知道需要計算的值，比如模型的輸入數據，其只有在訓練與預測時才會有值。這時就需要placeholder(用占位符表示)與feed_dict的幫助。占位符並沒有初始值，它只會分配必要的內存。在會話中，占位符可以使用 feed_dict 饋送數據。
feed_dict是一個字典，在字典中需要給出每一個用到的占位符的取值。（sess.run使用的時候要給出前面的占位符的取值。）
定義一個placeholder，可以使用tf.placeholder(dtype,shape=None,name=None)函數。
foo = tf.placeholder(tf.int32,shape=[1],name='foo')
bar = tf.constant(2,name='bar')
result = foo + bar
with tf.Session() as sess:
print(sess.run(result))
在上面的代碼中，會拋出錯誤（InvalidArgumentError），因為計算result需要foo的具體值，而在代碼中並沒有給出。這時候需要將實際值賦給foo。最后一行修改如下（其中最后的dict就是一個feed_dict，一般會使用python讀入一些值后傳入，當使用minbatch的情況下，每次輸入的值都不同）：
print(sess.run(result,{foo:[3]}))