Outline
很多事情不是需要聰明一點，而是需要耐心一點，踏下心來認真看真的很簡單的。
假設有這樣一個網絡層：
第一層是輸入層，包含兩個神經元i1 i2和截距b1；
第二層是隱含層，包含兩個神經元h1 h2和截距b2，
第三層是輸出o1,o2，每條線上標的wi是層與層之間連接的權重，激活函數默認為sigmoid函數。
賦初值為：
輸入數據 i1=0.05，i2=0.10;
輸出數據 o1=0.01, o2=0.99;
初始權重 w1=0.15,w2=0.20,w3=0.25,w4=0.30;
w5=0.40,w6=0.45,w7=0.50,w8=0.55
目標：給出輸入數據i1,i2(0.05和0.10)，使輸出盡可能與原始輸出o1,o2(0.01和0.99)接近。
Step 1 前向計算
1. 輸入層—>隱含層：
計算神經元h1的輸入加權和：
神經元h1的輸出o1:(此處用到激活函數為sigmoid函數)：
同理，可計算出神經元h2的輸出o2：
2. 隱含層—>輸出層：
計算輸出層神經元o1的值：
同理，計算o2：
前向計算過程結束，得到輸出值為[0.75136079 , 0.772928465]，與實際值[0.01 , 0.99]相差很遠，對誤差進行反向傳播，更新權值，重新計算輸出。
Step 2 反向傳播
1. 計算總誤差
總誤差：(square error)
分別計算o1和o2的誤差，總誤差為兩者之和：
2. 輸出層—>隱含層的權值更新
以權重參數w5為例，如果想知道w5對整體誤差產生了多少影響，用整體誤差對w5求偏導求出：（鏈式法則）
如圖所示：
現在分別計算每個式子的值： loss--Sigmoid--weight
計算
：
計算下一步之前，先來看一下Sigmoid函數求導：
根據倒數法則從f(x)開始推導得出：
有以上兩個式子可推出：
計算
：
計算
：
最后三者相乘：
這樣我們就計算出整體誤差E(total)對w5的偏導值。
綜合以上四步計算過程可得：
為了表達方便，用
來表示輸出層的誤差：
因此，整體誤差E(total)對w5的偏導公式可以寫成：
如果輸出層誤差計為負的話，也可以寫成：
最后，更新w5的值，
是學習速率，這里設為0.5：
同理，可更新w6,w7,w8:
3. 隱含層—>輸入層的權值更新
上一部分傳播過程為：out(o1)—>net(o1)—>w5；
此處：out(h1)—>net(h1)—>w1，注意out(h1)會接受E(o1)和E(o2)兩個地方傳來的誤差，兩個都要計算。
計算
：
先計算
：
同理，計算出：
兩者相加得到總值：
再計算
：
再計算
：
最后，三者相乘：
為了簡化公式，用sigma(h1)表示隱含層單元h1的誤差：
最后，更新w1的權值：
同理，額可更新w2,w3,w4的權值：
一次誤差的反向傳播完成，之后再把更新的權值重新計算，得到新的誤差，該例中第一次迭代之后，總誤差E(total)由0.298371109下降至0.291027924。迭代10000次后，總誤差為0.000035085，輸出為[0.015912196,0.984065734](原輸入為[0.01,0.99])。