一、人工神經元模型
1、突觸權值（連接權）
每一個突觸都由其權值作為特征表征，各個神經元之間的連接強度由突觸權值來表示。與神經元相連的突觸上，連接的輸入信號通過權值的加權進入神經元的求和單元。
2、求和單元
求和單元用於求取各輸入信號的突觸加權和，這個操作構成一個線性組合器。
3、激活函數
激活函數起非線性映射的作用，並用來限制神經元輸出振幅。激活函數也稱限制函數，或傳輸函數。通常一個神經元輸出的正常范圍在[0, 1]區間或[−1, 1]區間。
4、外部偏置
此外，神經元模型還包括一個外部偏置，或外部偏置稱為閥值，偏置的作用是根據其為正或負，相應的增加或者降低激活函數的網絡輸入。
5、一對方程描述神經元
6、激活函數
（1）階躍函數
（2）分段線性函數
（3）Sigmoid函數
（4）雙曲正切函數：
二、神經網絡的結構
1、前饋型網絡
這類網絡將每一層的神經元串聯起來，一層的輸出是下一層的輸入，網絡中沒有反饋連接
（1）節點分類
節點有輸入單元、計算單元和輸出單元三類
（2）層級分類
輸入層：源節點構成輸入層，輸入層沒有計算，直接將輸入信號傳遞到下一層的計算單元
可見層：輸入、輸出節點直接與外界相連，可直接受外界環境影響
隱含層：中間層與外界無直接聯系，所以稱為隱含層
（3）前饋型網絡常常可以有多個隱含層，從而構成多層前饋網絡，圖中是一個n-p-q的三層前饋網絡
前饋型網絡是一類靜態非線性映射，通過簡單非線性處理的復合映射可獲得復雜的非線性處理能力。但是，從計算的觀點看，前饋型網絡並非是一種強有力的計算系統，不具備豐富的動力學行為
2、反饋型網絡
在反饋型網絡中，輸入信號決定反饋系統的初始狀態，然后系統經過一系列狀態轉移后，逐漸收斂於平衡狀態，這樣的平衡狀態就是反饋型網絡經計算后輸出的結果，需要注意的是通常有多個平衡態。因此，穩定性是反饋網絡最重要的問題之一。如果能找到網絡的李雅普諾夫（Lyapunov）函數，就能保證網絡從任意初始狀態都能收斂到局部最小點，即求得局域最優解。
3、如何確定網絡結構
（1）網絡的輸入個數 = 應用問題的輸入數
（2）輸出層神經元的數目 = 應用問題的輸出數目
（3）輸出層的傳輸函數選擇至少部分依賴於應用問題的輸出描述
三、神經網絡的學習
1、概述
對於神經網絡具有首要意義的性質是網絡能從環境中學習的能力，並通過學習改善其行為。在學習過程中，神經網絡的突觸權值和偏置（閥值）水平隨時間依據某一規定的度量不斷修改，理想情況下，神經網絡在每一次重復學習過程后對它的環境便有更多的了解。在神經網絡的背景中，關於學習的定義如下：
學習是一個過程，通過這個過程神經網絡的自由參數在其嵌入的環境機理過程之下得到調節。學習類型由參數改變的方式決定。這個學習過程的定義隱含着如下的事實：神經網絡被一個環境所激勵；作為這個激勵的結果，神經網絡的自身參數發生變化；由於神經網絡內部的改變而以新的方式響應環境。
2、學習方式
（1）有監督學習
有監督學習也稱有導師學習，這種學習需要外界存在一個“導師”，它可以根據自身掌握的一些知識為神經網絡提供對輸入訓練樣本的期望響應。期望響應一般代表着神經網絡的最優輸出結果。當輸入作用到網絡時，神經網絡的期望響應和實際響應相比較，產生誤差信號，根據誤差信號逐步而又反復地調整網絡的權值和閥值，從而使網絡的實際輸出不斷地接近於期望輸出，最終目的是使神經網絡模擬導師，在某種統計意義上，這種模擬是最優的。利用這種學習方式，導師對環境掌握的知識就可以通過訓練最大限度地傳授給神經網絡，當條件成熟時，就可以將導師排除在外，讓神經網絡完全自主地應對環境。
（2）無監督學習
無監督學習時不存在外部導師，學習系統完全按照環境所提供數據的某些統計規律來調節自身參數或結構，這是一種自組織過程，以表示外部輸入的某種固有特性（如聚類，或某種統計上的分布特征）。在無監督學習中，僅僅根據網絡的輸入調整網絡的權值和閥值，它沒有目標輸出。乍一看這種學習似乎不可行，不知道網絡的目的是什么，還能夠訓練網絡嗎？實際上，大多數這種類型的算法是要完成某種聚類操作，學會將輸入模式分為有限的幾種類型。這種功能特別適合於諸如向量量化等應用問題。
（3）增強式學習
增強式學習也稱再勵學習。在這種學習方式中學習系統建立在一個評價的基礎上，評價將從外部環境中接收到的原始增強信號轉換成一種啟迪增強信號的高質量增強信號。需要注意的是，外部環境對學習系統的輸出結果給出的是評價（獎或懲），而不是正確答案，學習系統通過強化那些受到獎勵的動作來改善自身性能。增強式學習與有監督學習有類似的地方，只是它不像有監督學習那樣為每個輸入提供相應的目標輸出，而僅僅是給出一個級別（評價），這個級別是對網絡在某些輸入序列上的性能度量。當前，增強式學習比有監督學習少見，它最適合控制系統應用領域。
3、學習方式
（1）誤差修正學習-學習規則
學習規則利用神經元的期望輸出與實際輸出之間的誤差進行學習，通過調整突觸權值，使誤差減小
（2）Hebb學習規則
（3）競爭學習規則
（4）Boltzmann學習規則