原文：https://www.zybuluo.com/hanbingtao/note/476663
寫得非常好，適合入門！
神經元
神經元和感知器本質上是一樣的，只不過我們說感知器的時候，它的激活函數是階躍函數；而當我們說神經元時，激活函數往往選擇為sigmoid函數或tanh函數。如下圖所示：
計算一個神經元的輸出的方法和計算一個感知器的輸出是一樣的。假設神經元的輸入是向量，激活函數是sigmoid函數。
神經網絡是啥
神經網絡其實就是按照一定規則連接起來的多個神經元。上圖展示了一個全連接(full connected, FC)神經網絡，通過觀察上面的圖，我們可以發現它的規則包括：
- 神經元按照層來布局。最左邊的層叫做輸入層，負責接收輸入數據；最右邊的層叫輸出層，我們可以從這層獲取神經網絡輸出數據。輸入層和輸出層之間的層叫做隱藏層，因為它們對於外部來說是不可見的。
- 同一層的神經元之間沒有連接。
- 第N層的每個神經元和第N-1層的所有神經元相連(這就是full connected的含義)，第N-1層神經元的輸出就是第N層神經元的輸入。
- 每個連接都有一個權值。
上面這些規則定義了全連接神經網絡的結構。事實上還存在很多其它結構的神經網絡，比如卷積神經網絡(CNN)、循環神經網絡(RNN)，他們都具有不同的連接規則。
神經網絡的訓練
現在，我們需要知道一個神經網絡的每個連接上的權值是如何得到的。我們可以說神經網絡是一個模型，那么這些權值就是模型的參數，也就是模型要學習的東西。然而，一個神經網絡的連接方式、網絡的層數、每層的節點數這些參數，則不是學習出來的，而是人為事先設置的。對於這些人為設置的參數，我們稱之為超參數(Hyper-Parameters)。
接下來，我們將要介紹神經網絡的訓練算法：反向傳播算法。
。。。