sigmoid函數
神經網絡激活函數是sigmoid函數。
定義為：
sigmoid函數是一個非線性函數，值域是(0,1)。函數圖像如下圖所示：
sigmoid導數：
可以看得出sigmoid導數計算很方便。
則
神經網絡
神經網絡其實就是按照一定規則連接起來的多個神經元。
神經網絡實際上就是一個輸入向量到輸出向量的函數：
神經網絡的矩陣表示
反向傳播算法(Back Propagation)
我們可以說神經網絡是一個模型，那么這些權值就是模型的參數，也就是模型要學習的東西。
然而，一個神經網絡的連接方式、網絡的層數、每層的節點數這些參數，則不是學習出來的，而是人為事先設置的。對於這些人為設置的參數，我們稱之為超參數(Hyper-Parameters)。
推導
1、目標函數
2、使用隨機梯度下降法進行優化
3、以某一個節點的權值優化過程來舉例
前一層的輸入向量：
前一層和下一層之間的權值矩陣：
其中mxn，意味着下一層的神經元格式（即維度是m），上一層的輸入維度是n。
其中：
輸出層：
其中：
綜合得到：
隱藏層權值訓練
例如，對於節點4來說，它的直接下游節點是節點8、節點9。
節點 j 的加權輸入只能通過影響節點 j 的所有下游節點再影響目標函數。
