1.相關概念
神經網絡(Neural Network)本質是一個非線性分類器（可以是二分類或多分類），適用於樣本特征維度很高，並且非線性可分時。
【神經網絡最終輸出是一個復雜的非線性預測函數，可視化為高維空間中的一個復雜的非線性邊界】
【神經網絡的訓練過程就是根據輸入樣本(xi,yi)擬合出權重參數，模型訓練的最終結果是得到權重參數weight】
非線性邊界示意圖
簡單前向傳播神經網絡示意圖
神經網絡的結構(architecture)：輸入層，隱藏層(1或多層)，輸出層相關參數
輸入層：樣本特征
隱藏層：通過非線性函數構造的復雜特征
輸出層：分類結果【如果是sigmoid函數的話，則輸出屬於某一種類的概率值。】
偏置(bias)：除了輸出層之外，輸入層和隱藏層都有一個偏置項a0。
權重系數矩陣(weights/parameter matrix)：注意維度為 (Sj+1 x Sj+1)。
激勵函數(activation function)：神經網絡中應用的非線性函數：可以是relu(),sigmoid()...【sigmoid也叫 logistic function】
【神經網絡模型和logistic回歸的聯系：當所用的函數時sigmoid函數時，第j+1層中單個神經元的計算相當於一次logistic回歸。神經網絡的進步之處在於在一層中構造多個復雜特征，並可以有多層。神經網絡的代價函數是logistic回歸的代價函數的一般化】
前向傳播步驟：
2.相關公式及向量表示
1)代價函數：
logistic regression:
neural network:
【 
】
2) 多分類輸出yi的表示形式：向量
3.簡單例子（python/matlab，開源框架）
1) AND、(NOTx1)AND(NOTx2)、OR=> XNOR 【簡單例子說明復雜特征的構造】
2) 書寫數字識別
3) 計算機視覺識別道路不同對象（行人、摩托、小轎車、大貨車）【多元分類問題】
參考資料：
1.吳恩達機器學習相關網站、視頻及筆記
https://www.coursera.org/learn/machine-learning，斯坦福機器學習資料
2.B站前饋神經網絡白板推導