神經元的變換函數
從凈輸入到輸出的變換函數稱為神經元的變換函數，即
- 閾值型變換函數
比如符號函數
- 非線性變換函數
比如單極性Sigmoid函數
又比如雙極性S型（又曲正切）函數
- 分段性變換函數
比如
- 概率型變換函數
這時輸入與輸出之間的關系是不確定的，需要用一個隨機函數來描述輸出狀態為1或為0的概率。設輸出為1的概率為
T為溫度參數，這種神經元模型也稱為熱力學模型。
學習規則
改變權值的規則稱為學習規則或學習算法。
| 學習規則 | 權值調整 | 權值初始化 |
學習方式 | 變換函數 | |
| 向量式 | 元素式 | ||||
| Hebbian |
|
|
0附近的小隨機數 | 無導師 | 任意 |
| 離散Percrptron |
|
|
任意 | 有導師 | 二進制 |
| 連續感知器δ規則 |
|
|
任意 | 有導師 | 連續 |
| 最小均方LMS（Widrow-Hoff規則） |
|
|
任意 | 有導師 | 任意 |
| 相關Correlation |
|
|
0 | 有導師 | 任意 |
| 勝者為王 Winner-take-all |
|
|
隨機，歸一化 | 無導師 | 連續 |
| 外星Outstar |
|
|
0 | 有導師 | 連續 |
Hebb學習規則指出：當神經元的突觸前膜電位與突觸后膜電位同時為正時，突觸傳導增強；電位相反時，突觸傳導減弱。應預先設置權值飽和值，防止輸入和輸出正負始終一致時出現權值無約束增長。
η是學習率。
在離散感知器學習規則中，期望輸出dj和實際輸出sgn(WjTX)取值都是-1和1。這種感知器僅適合於二進制神經元。
連續感知器δ規則要求變換函數是可導的，因此只能用於有導師學習中定義的連續變換函數，如Sigmoid函數。實際上δ規則是由輸出與期望的最小平方誤差推導出來的。
最小均方學習規則實際上是δ規則的特例--在δ規則中令
。最小均方學習規則與變換函數無關，不需要對變換函數求導，不僅學習速度快，而且具有較高的精度。它能使實際輸出與期望輸出之間的平均方差最小（什么意思？why?）。
勝者為王規則中有一個競爭層，對於特定的輸入，競爭層的每個神經元均有輸出響應，其中響應最大的神經元j*成為獲勝神經元，只有獲勝神經元才有權調整其權值向量。學習率應該隨着學習的進展而減小。
外星學習規則使權向量向期望輸出靠攏。
單層感知器
單層感知器只有輸入層和輸出層，它僅對線性可分問題具有分類能力，在實際中很少使用。
多層感知器
隱藏層的加入使感知器能夠解決非線性的分類問題，並且雙隱藏層感知器足以解決任何復雜的分類問題。
當變換函數從線性函數變為非線性函數時，分類邊界的基本元素從直線變為曲線，這樣整個分類邊界線變成連續光滑的曲線，從而提高感知器的分類能力。
對於各隱藏層節點來說，不存在期望輸出，因而學習規則對隱藏層權值不適用。
自適應線性單元（Adaptive Linear Neuron）
使用最小均方學習規則LMS（Least Mean Square）,即最小二乘法。
