感知器作為人工神經網絡中最基本的單元，有多個輸入和一個輸出組成。雖然我們的目的是學習很多神經單元互連的網絡，但是我們還是需要先對單個的神經單元進行研究。
感知器算法的主要流程：
首先得到n個輸入，再將每個輸入值加權，然后判斷感知器輸入的加權和最否達到某一閥值v，若達到，則通過sign函數輸出1，否則輸出-1。
為了統一表達式，我們將上面的閥值v設為-w0，新增變量x0=1,這樣就可以使用w0x0+w1x1+w2x2+…+wnxn>0來代替上面的w1x1+w2x2+…+wnxn>v。於是有：
從上面的公式可知，當權值向量確定時，就可以利用感知器來做分類。
那么我們如何獲得感知器的權值呢？這需要根據訓練集是否可分來采用不同的方法：
1、訓練集線性可分時 --> 感知器訓練法則
為了得到可接受的權值，通常從隨機的權值開始，然后利用訓練集反復訓練權值，最后得到能夠正確分類所有樣例的權向量。
具體算法過程如下：
A）初始化權向量w=(w0,w1,…,wn)，將權向量的每個值賦一個隨機值。
B）對於每個訓練樣例，首先計算其預測輸出：
C）當預測值不等於真實值時則利用如下公式修改權向量：
各符號含義： 
代表學習速率，t代表樣例的目標輸出，o代表感知器輸出。
D）重復B）和C），直到訓練集中沒有被錯分的樣例。
算法分析：
若某個樣例被錯分了，假如目標輸出t為-1，結果感知器o輸出為1，此時為了讓感知器輸出-1，需要將wx減小以輸出-1，而在x的值不變的情況下只能減小w的值，這時通過在原來w后面添加(t-o)x=即可減小w的值（t-o<0, x>0）。
通過逐步調整w的值，最終感知器將會收斂到能夠將所有訓練集正確分類的程度，但前提條件是訓練集線性可分。若訓練集線性不可分，則上述過程不會收斂，將無限循環下去。
2、訓練集線性不可分時 --> delta法則（又叫增量法則， LMS法則，Adaline法則，Windrow-Hoff法則）
由於在真實情況下，並不能保證訓練集是線性可分的。因而，當訓練集線性不可分時該如何訓練感知器呢？這時我們使用delta法則，通過這種方式可以找出收斂到目標的最佳近似值，
delta法則的關鍵思想是使用梯度下降來搜索可能的權向量的假設空間，以找到最佳的擬合樣例的權向量[1]。具體來說就是利用損失函數，每次向損失函數的負梯度方向移動，直到損失函數取得最小值（極小值）。我們將訓練誤差函數定義為：
其中D：訓練集合，td為目標輸出，od為感知器輸出.
隨機梯度下降算法過程如下：
1）初始化權向量w，將權向量的每個值取一個隨機值。
2）對每個訓練樣例，分別執行以下操作：
A）通過感知器得到樣例的輸出o。
B）根據感知器的輸出，修改權向量w。
3）重復第2）步，當訓練樣例的誤差率小於設定的閥值時，算法終止。
算法條件：誤差損失函數需要對權向量可微；假設空間包含連續參數化的假設。
可能存在的問題：若誤差曲面有多個局部極小值，則不能保證達到全局最優。
算法第2）步的權向量公式的推導？請參考下一節梯度下降法則的推導。
二個區別：
1）感知器訓練法則 和 delta法則（增量法則）
關鍵區別在於：感知器訓練法則根據閥值化的感知器輸出的誤差更新權值；而增量法則根據輸入的非閥值化線性組合的誤差來更新權值。
二者的權值更新公式看似一樣，實則不同：感知器法則的o是指閥值的輸出：，而增量法則中的o是線性單元的輸出：
2）（標准）梯度下降 和 隨機梯度下降
梯度下降每輪遍歷所有訓練樣例，將每個樣例得到權向量的差值進行累加，最終將這些差值之和累加到初始的權向量上；而隨機梯度下降則是在每個訓練樣例中都會更新權重，最終得到一個損失函數較小的權向量。
3、梯度下降法則的推導
梯度下降算法的核心就是每次向損失函數下降最陡峭的方向移動，而最陡峭的方向通常就是損失函數對權向量求偏導數得到的向量的反方向。
為了計算以上向量，我們逐個計算每個分量：
每次的權重更新量為：
使用這種方法來進行權重更新的方法叫做梯度下降，此方法將所有訓練集權值計算了一個總和，然后將權值更新。此方法更新依次權值需要將所有訓練集全部訓練一次，故而速度較慢，效率較低。
為此改進這種蝸牛的更新速度，於是有了隨機梯度下降算法，權向量更新公式為：
它在每個樣例中迭代的過程中都會進行權值更新，通過這種方式能更加靈活的調整權值，使得權值以更快的速度收斂。
參考文獻
[1] Mitchell, 機器學習。電子版下載地址：http://pan.baidu.com/s/1sjGBlEX