前饋網絡一般指前饋神經網絡或前饋型神經網絡。它是一種最簡單的神經網絡，各神經元分層排列。每個神經元只與前一層的神經元相連。接收前一層的輸出，並輸出給下一層，數據正想流動，輸出僅由當前的輸入和網絡權值決定，各層間沒有反饋。包括：單層感知器，線性神經網絡，BP神經網絡、RBF神經網絡等。
遞歸神經網絡（RNN）是兩種人工神經網絡的總稱。一種是時間遞歸神經網絡（recurrent neural network），又名循環神經網絡，包括RNN、LSTM、GRU等；另一種是結構遞歸神經網絡（recursive neural network）。
反饋網絡(Recurrent Network)，又稱自聯想記憶網絡，輸出不僅與當前輸入和網絡權值有關，還和網絡之前輸入有關。其目的是為了設計一個網絡，儲存一組平衡點，使得當給網絡一組初始值時，網絡通過自行運行而最終收斂到這個設計的平衡點上。包括Hopfield，Elman，CG，BSB，CHNN、DHNN等。
反饋網絡具有很強的聯想記憶和優化計算能力，最重要研究是反饋網絡的穩定性（即其吸引子）
離散Hopfield神經網絡
Hopfield神經網絡是一種單層反饋，循環的從輸入到輸出有反饋的聯想記憶網絡。離散型為DHNN（Discrete Hopfield Neural Network）和連續型CHNN（Continues Hopfield Neural Network）。
Hopfield最早提出的網絡是二值神經網絡，各神經元的激勵函數為階躍函數或雙極值函數,神經元的輸入、輸出只取{0，1}或者{ -1，1}，所以也稱為離散型Hopfield神經網絡DHNN（Discrete Hopfiled Neural Network）。在DHNN中，所采用的神經元是二值神經元；因此，所輸出的離散值1和0或者1和-1分別表示神經元處於激活狀態和抑制狀態。
離散Hopfield神經網絡DHNN是一個單層網絡，有n個神經元節點，每個神經元的輸出均接到其它神經元的輸入。各節點沒有自反饋。每個節點都可處於一種可能的狀態（1或－1），即當該神經元所受的刺激超過其閥值時，神經元就處於一種狀態（比如1），否則神經元就始終處於另一狀態（比如－1）。
對於中間層，任意兩個神經元鏈接權值為Wij，Wij=Wji,神經元的連接是對稱的，。如果Wii等於0，即神經元自生無連接，則稱為無自反饋的Hopfield網絡，如果不為0，則為有自反饋的Hopfield網絡，但是出於穩定性考慮，應避免使用具有自反饋的網絡，在這里，第一層Xi僅僅作為輸入，沒有實際功能。第三層為輸出神經元，其功能是使用閾值函數對計算結果進行二值化。
僅考慮中間神經元節點發現，每個神經元輸出將成為其他神經元輸入，每個神經元輸入又都來自其他神經元。神經元輸出數據經過其他神經元之后又反饋給自己。
Hopfield網絡的穩定性
Hopfield網絡按照神經動力學方式運行，對於給定的初始狀態按照能量減小的方式演化，最終達到穩定狀態。
-
DHNN網實質上是一個離散的非線性動力學系統。網絡從初態X(0)開始，若能經有限次遞歸后，其狀態不再發生變化，即X(t+1)＝X(t)，則稱該網絡是穩定的。
-
如果網絡是穩定的，它可以從任一初態收斂到一個穩態：
- 若網絡是不穩定的，由於DHNN網每個節點的狀態只有1和-1兩種情況，網絡不可能出現無限發散的情況，而只可能出現限幅的自持振盪，這種網絡稱為有限環網絡。
- 在有限環網絡中，系統在確定的幾個狀態之間循環往復，系統也可能不穩定收斂於一個確定的狀態，而是在無限多個狀態之間變化，但是軌跡並不發散到無窮遠，這種現象叫做混沌。
網絡的狀態 ：
DHNN網中的每個神經元都有相同的功能，其輸出稱為狀態，用 xj 表示。所有神經元狀態的集合就構成反饋網絡的狀態
反饋網絡的輸入就是網絡的狀態初始值，表示為 X(0)=[x1(0),x2(0),…,xn(0)]T
反饋網絡在外界輸入激發下，從初始狀態進入動態演變過程，變化規律為
xj=f(net(j))
DHNN網的轉移函數常采用符號函數 ：
凈輸入為：
網絡計算的過程就是初始輸入向量經過逐次迭代向吸引子演化的過程，演化的規則是向能量函數減小的方向演化，指導最終達到穩定狀態。能量函數的定義為（為什么這樣定義呢）：
吸引子，吸引域與能量函數
吸引子：網絡達到穩定時的狀態X，稱為網絡的 吸引子。
吸引域：能夠最終演化為該吸引子的初始狀態集合稱為該吸引子的吸引域。
若網絡的狀態X 滿足
X=f(WX-T)
則稱X為網絡的吸引子。
對於DHNN 網，已被證明：
若按異步方式調整網絡狀態，且連接權矩陣W 為對稱陣，則對於任意初態，網絡都最終收斂到一個吸引子。
若按照同步方式調整網絡，且鏈接權矩陣為非負定對稱矩陣，則對於任意狀態，網絡最終都收斂到一個吸引子。
DHNN有兩種向吸引子演化的工作方式：
1）串行（異步）方式：在時刻t時，只有某一個神經元j的狀態發生變化（即一次只修改這一個神經元），而其他n-1個神經元的狀態不變，稱為串行工作方式。
若按照同步方式調整網絡，且鏈接權矩陣為非負定對稱矩陣，則對於任意狀態，網絡最終都收斂到一個吸引子的證明：
2）並行（同步）方式：在任一時刻t，所有的神經元的狀態都產生了變化，稱為並行工作方式。
設計離散Hopfield網絡
Hopfield網絡可以用於聯想記憶，因此又稱為聯想記憶網絡，與人腦類似，該網絡實現聯想記憶需要兩個階段：
- 記憶階段：外界輸入數據，使得系統自動調整網絡的權值，最終用合適的權值使得系統有若干個穩定狀態（即吸引子）。其吸引域半徑定義為吸引子所能吸引的狀態的最大距離，吸引域越半徑越大，說明聯想能力越強，聯想記憶網絡的記憶容量為吸引子的數量。
- 聯想階段：對於給定的輸入模式，系統經過一定的演化，最終穩定收斂於某個吸引子。
假設待識別的數據為向量U=[u1,u2,.....uN],則系統將其設為初始狀態，即Y=U。
網絡中神經元個數與輸入向量長度相同，初始化完成后，根據上面的式子反復迭代，直到神經元的狀態不改變為止，此時輸出的西營子就是 對應於輸入Y的聯想返回結果。
完成聯想記憶的關鍵在於用恰當的學習算法得到網絡權值。常見以下學習算法：
- 外積法
- 投影學習法
- 偽逆法
- 特征結構法
K：需要記憶的K個吸引子
N：輸入向量的維度，神經元的個數，吸引子的維度。
另外離散Hopfield網絡中存在偽吸引子，偽吸引子也是穩定的狀態，但它不是設計者所需要的，減小偽狀態是改進離散Hopfield網絡的一個方向。
由於網絡中各節點的狀態只能取1 或 –1 ，能量函數E(t)
作為網絡狀態的函數是有下界的，因此網絡能量函數最終將收斂於一個常數，此時ΔE(t)=0
綜上所述，當網絡工作方式和權矩陣均滿足條件時，網絡最終將收斂到一個吸引子。
以上分析表明，在網絡從初態向穩態演變的過程中，網絡的能量始終向減小的方向演變，當能量最終穩定於一個常數時，該常數對應於網絡能量的極小狀態，稱該極小狀態為網絡的能量井，能量井對應於網絡的吸引子。
實例：
網絡的權值設計
⑴為保證異步方式工作時網絡收斂，W應為對稱陣；
⑵為保證同步方式工作時網絡收斂，W應為非負定對稱陣；
⑶保證給定樣本是網絡的吸引子，並且要有一定的吸引域。