創建圖、啟動圖
Shift+Tab Tab
變量介紹：
Fetch
Feed
簡單的模型構造：線性回歸
MNIST數據集 Softmax函數
非線性回歸神經網絡
MINIST數據集分類器簡單版本
二次代價函數
sigmoid函數
交叉熵代價函數
對數釋然代價函數
擬合
防止過擬合
Dropout
優化器
優化器的使用
如何提升准確率？
1.改每批訓練多少個
2.改神經網絡中間層（神經元層數，每層的個數，每層用的激活函數，權重的初值用隨機正態、要不要防止過擬合）
3.改計算loss的函數：交叉熵cross entropy更好。【sigmoid函數一般是作為每層的激活函數，softmax函數是用於多分類，且該函數一般用在最后一層，即輸出層，並且不是使用sigmoid函數來獲得輸出。前面的激活函數用不用sigmoid函數不作要求。logistic相當於只有輸入層、單隱層神經元，和兩個神經元的輸出層，即結構特別簡單，輸入直接和權重相乘之后，加上偏置，再進行sigmoid激活函數激活，就得到了輸出層的兩個概率值，分別表示兩個類別的概率。而softmax通常用在多層神經網絡的的最后一層，中間經過了多次運算和激活，最后的類別不止兩類。】
4.改優化器（類型、學習率）：Adadelta很厲害。
5.改迭代次數：一般越大越好，次數要足夠，穩定、變化不大。
ANN代碼結構的總結——"六股文"：
第一步：構建輸入參數。
第二步：構建神經網絡。
第三步：選擇代價函數。
第四步：選擇優化器
第五步：計算准確率。
第六步：創建會話，進行運算
看看老師的優化：
將MNIST數據集准確率優化到98%以上
AI-11【煉數成金】深度學習框架Tensorflow學習與應用 視頻05：tensorboard可視化部分暫時不看（10:12 – 結尾）
卷積神經網絡CNN
神經網絡用於MNIST數據集分類
CNN代碼結構的總結
有待看tensorflow筆記
AI-11【煉數成金】深度學習框架Tensorflow學習與應用 視頻05：循環神經網絡RNN部分暫時不看
模型的保存與載入
下載模型：文件夾不存在？
使用下載的模型
測試訓練好的模型
安裝GPU版tensorflow
tfrecords文件的分塊生成
驗證碼的生成
驗證碼識別之生成單個tfrecords文件
多任務訓練
從tfrecords讀取數據
驗證碼識別的訓練程序用到Alexnet
最后一層的四個輸出，前面所有共享。
