Hopfield模型

1982年，J．Hopfield提出了可用作聯想存儲器的互連網絡，這個網絡稱為Hopfield網絡模型，也稱Hopfield模型。Hopfield神經網絡模型是一種循環神經網絡，從輸出到輸入有反饋連接。Hopfield網絡有離散型和連續型兩種。

反饋神經網絡由於其輸出端有反饋到其輸入端；所以，Hopfield網絡在輸入的激勵下，會產生不斷的狀態變化。當有輸入之后，可以求取出Hopfield的輸出，這個輸出反饋到輸入從而產生新的輸出，這個反饋過程一直進行下去。如果Hopfield網絡是一個能收斂的穩定網絡，則這個反饋與迭代的計算過程所產生的變化越來越小，一旦到達了穩定平衡狀態；那么Hopfield網絡就會輸出一個穩定的恆值。對於一個Hopfield網絡來說，關鍵是在於確定它在穩定條件下的權系數。

應該指出：反饋網絡有穩定的，也有不穩定的。對於Hopfield網絡來說，還存在如何判別它是穩定網絡，亦或是不穩定的問題；而判別依據是什么，也是需要確定的。

 

1．3．1 離散Hopfield網絡

Hopfield最早提出的網絡是二值神經網絡，神經元的輸出只取1和0這兩個值，所以，也稱離散Hopfield神經網絡。在離散HopfieId網絡中，所采用的神經元是二值神經元；故而，所輸出的離散值1和0分別表示神經元處於激活和抑制狀態。

首先考慮由三個神經元組成的離散Hopfield神經網絡，其結構如圖1—13中所示。

在圖中，第0層僅僅是作為網絡的輸人，它不是實際神經元，所以無計算功能；而第一層是實際神經元，故而執行對輸人信息和權系數乘積求累加和，並由非線性函數f處理后產生輸出信息。f是一個簡單的閥值函效，如果神經元的輸出信息大於閥值θ，那么，神經元的輸出就取值為1；小於閥值θ，則神經元的輸出就取值為θ。

圖1-13  三神經元組成的Hopfield網絡

對於二值神經元，它的計算公式如下

其中：x_i為外部輸入。並且有：

Y_i=1,當U_i≥θ_i時

Y_i=0,當U_i<θ_i時

對於一個離散的Hopfield網絡，其網絡狀態是輸出神經元信息的集合。對於一個輸出層是n個神經元的網絡，則其t時刻的狀態為一個n維向量：

Y(t)=[Y₁(t),Y₂(t),^...,Y_n(t)]^T

故而，網絡狀態有2ⁿ個狀態；因為Yj(t)(j＝1……n)可以取值為1或0；故n維向量Y(t)有2ⁿ種狀態，即是網絡狀態。

對於三個神經元的離散Hopfield網絡，它的輸出層就是三位二進制數；每一個三位二進制數就是一種網絡狀態，從而共有8個網絡狀態。這些網絡狀態如圖1—14中所示。在圖中，立方體的每一個頂角表示一種網絡狀態。同理，對於n個神經元的輸出層，它有2ⁿ個網絡狀態，也和一個n維超立方體的頂角相對應。

圖1-14   三神經元輸出層的網絡狀態

如果Hopfield網絡是一個穩定網絡，那么在網絡的輸入端加入一個輸入向量，則網絡的狀態會產生變化，也就是從超立方體的一個頂角轉移向另一個頂角，並且最終穩定於一個特定的頂角。

對於一個由n個神經元組成的離散Hopfield網絡，則有n*n權系數矩陣w：

W={W_ij} i=1,2,^...,n  j=1,2,^...,n

同時，有n維閥值向量θ：

θ=[θ₁,θ₂,^...θ_n]^T

一船而言，w和θ可以確定一個唯一的離散Hopfield網絡。對於圖1—13所示的三神經元組成的Hopfield網絡，也可以改用圖1—15所示的圖形表示，這兩個圖形的意義是一樣的。考慮離散Hopfield網絡的一船節點狀態；用Y_j(t)表示第j個神經元，即節點j在時刻t的狀態，則節點的下一個時刻(t+1)的狀態可以求出如下：

當W_ij在i＝j時等於0，則說明一個神經元的輸出並不會反饋到它自己的輸入；這時，離教的HopfieId網絡稱為無自反饋網絡。

當W_ij在i＝j時不等於0，則說明—個神經元的輸出會反饋到它自己的輸入；這時，離散的Hopfield網絡稱為有自反饋的網絡。

圖1-15 離散Hopfield網絡的另外一種圖示 離散Hopfield網絡有二種不同的工作方式：

1．串行(異步)方式

在時刻t時，只有某一個神經元j的狀態產生變化，而其它n-1個神經元的狀態不變這時稱串行工作方式。並且有

Y_i(t+1)=Y_j(t)  i≠j

在不考慮外部輸人時，則有

2．並行(同步)方式

在任一時刻t，所有的神經元的狀態都產生了變化；則稱並行工作方式。並且有

在不考慮外部輸入時，則有

    j=1,2,^...,n

對於一個網絡來說，穩定性是一個重大的性能指標。

對於離散Hopfield網絡，其狀態為Y(t)：

Y(t)=[Y₁(t),Y₂(t),^...,Y_n(t)]^T

如果，對於任何△t>0．當神經網絡從t＝0開始，有初始狀態Y(0)；經過有限時刻t，有：

Y(t+△t)=Y(t)

則稱網絡是穩定的。

在串行方式下的穩定性稱之為串行穩定性。同理，在並行方式的穩定性稱之為並行穩定性。在神經網絡穩定時，其狀態稱穩定狀態。

從離散的Hopfield網絡可以看出：它是一種多輸入，含有閥值的二值非線性動力系統。在動力系統中，平衡穩定狀態可以理解為系統的某種形式的能量函數在系統運動過程中，其能量值不斷減小，最后處於最小值。

對Hopfield網絡引入一個Lyapunov函數，即所謂能量函數：

即有：

	(1-46)
對於神經元j，其能量函數可表示為
	(1-47)

也即是有

神經元j的能量變化量表示為△E_j：

(1-48)

如果存在條件   W_ii=0,i=1,2,...,n

W_ij=W_ji  i=1,2,...,n   j=1,2,...,n

則有：

(1-49)

其中：E_j為神經元j的能量；

△E_j為神經元j的能量變化；

W_ij為神經元i到神經元j的權系數：

Y_i為神經元j的輸出；

X_j為神經元j的外部輸入；

θ_j為神經元j的閥值；

△Y_j為神經元j的輸出變化。

如果，令

U_j=ΣW_ijY_i+X_j

則△E_j可表示為：

考慮如下兩種情況：

1．如果U_j≥θ_j，即神經元j的輸入結果的值大於閥值，則U_j-θ_j≥0，則從二值神經元的計算公式知道：Y_j的值保持為1，或者從0變到1。這說明Y_j的變化△Y_j只能是0或正值。這時很明顯有△E_j：

△E_j≤0

這說明Hopfield網絡神經元的能量減少或不變。

2．如果U_j≤θ_j，即神經元j的輸入結果的值小於閥值，則U_j-θ_j≥0，則從二值神經元的計算公式可知：Y_j的值保持為0，或者從1變到0。這說明Y_j的變化△Y_j只能是零或負位。這時則有△E_j：

△E_j≤0

這也說明Hopfield網絡神經元的能量減少。

上面兩點說明了Hopfield網絡在權系數矩陣W的對角線元素為0，而且W矩陣元素對稱時，Hopfield網絡是穩定的。

Coben和Grossberg在1983年給出了關於Hopfield網絡穩定的充分條件，他們指出：

如果Hopfield網絡的權系數矩陣w是一個對稱矩陣，並且，對角線元素為0．則這個網絡是穩定的。即是說在權系數矩陣W中，如果

i=j時，W_ij=0

i≠j時，W_ij=W_ji

則Hopfield網絡是穩定的。

應該指出：這只是Hopfield網絡穩定的充分條件．而不是必要條件。在實際中有很多穩定的Hopfield網絡，但是它們並不滿足權系數矩陣w是對稱矩陣這一條件。

上面的分析可知：

無自反饋的權系數對稱Hopfield網絡是穩定的網絡。它如圖1—16，圖1—17所示。

圖1-16  對角線權系數為0的對稱Hopfield網絡

圖1-17  對角線權系數為0的對稱網另一圖示

Hopfield網絡的一個功能是可用於聯想記憶，也即是聯想存儲器。這是人類的智能特點之一。人類的所謂“觸景生情”就是見到一些類同過去接觸的景物，容易產生對過去情景的回昧和思憶。對於Hopfield網絡，用它作聯想記憶時，首先通過一個學習訓練過程確定網絡中的權系數，使所記憶的信息在網絡的n維超立方體的某一個頂角的能量最小。當網絡的權系數確定之后，只要向網絡給出輸入向量，這個向量可能是局部數據．即不完全或部分不正確的數據，但是網絡仍然產生所記憶的信息的完整輸出。1984年Hopfield開發了一種用n維Hopfield網絡作聯想存儲器的結構。在這個網絡中，權系數的賦值規則為存儲向量的外積存儲規則(out product storage prescription)，其原理如下：

設有m個樣本存儲向量x₁，x₂，…，x_m

X_1={X_11,X_21,..._,X_m1}

X_2={X_12,X_22,...,X_m2}

_......

X_m={X_m1,X_m2,...,X_mm}

把這m個樣本向量存儲人Hopfield網絡中，則在網絡中第i，j兩個節點之間權系數的值為：

其中：k為樣本向量X_k的下標，k＝1，2，…m；

i，j分別是樣本向量X_k的第i，j分量X_i，X_j的下標；i，j＝1，2，…n。

對聯想存儲器的聯想檢索過程如下：

給定一個向量X。進行聯想檢索求取在網絡中的存儲內容。這時，把向量

X={X₁,X₂,...X_n}

的各個分量x₁，x₂，…，x_n賦於相對應的節點j，(j＝1，2，…，n)，則節點有相應的初始狀態Y_j(0)，則有

Y_j(0)=X_j，j＝1，2，…，n

接着，在Hopfield網絡中按動力學系統原則進行計算，得

Y_j(t+1)=f[ΣW_ijY_j(0)-θ_j]  , i,j＝1，2，…，n

其中，f[·]是非線性函數，可取階躍函數。

通過狀態不斷變化，最后狀態會穩定下來．最終的狀態是和給定向量x最接近的樣本向量。所以，Hopfield網絡的最終輸出也就是給定向量聯想檢索結果。這個過程說明，即使給定向量並不完全或部分不正確，也能找到正確的結果。在本質上，它也有濾波功能。

1．3．2連續Hopfield網絡

連續Hopfield網絡的拓朴結構和離散Hopfield網絡的結構相同。這種拓朴結構和生物的神經系統中大量存在的神經反饋回路是相一致的。在連續Hopfield網絡中，和離散Hopfield網絡一樣，其穩定條件也要求W_ij=W_ji。
連續Hopfield網絡和離散Hopfield網絡不同的地方在於其函數g不是階躍函數，而是S形的連續函數。一般取

g(u)=1/(1+e^-u)        (1-50)

連續Hopfield網絡在時間上是連續的．所以，網絡中各神經元是處於同步方式工作的。考慮對於一個神經細胞，即神經元j，其內部膜電位狀態用u_j表示．細胞膜輸入電容為C_j，細胞膜的傳遞電阻為R_j，輸出電壓為V_j，外部輸入電流用I_j表示，則連續Hopfield網絡可用圖1—18所示的電路表示。

(1-51)

其中：n是神經網絡神經元的個數

v_j(t)為輸出電位；

U_j(t)為輸入電位。

圖1-18  連續Hopfield網絡的電路形式

對於連續Hopfield網絡，Hopfield給出如下穩定性定理：

給出能量函數E(t)

(1-52)

其中：g^-1(v)是V_j(t)＝g_j(u_j(t))的反函數。

如果連續Hopfield網絡中神經元傳遞函數是單調增長的連續並有界函數，並且W_ij＝W_ji，則有

當並且僅當

時，有

這個定理的意義可以解釋如下：當網絡神經元的傳遞函數是S函數，並且網絡權系數矩陣對稱；則隨時間的變化網絡的能量會下降或不變；而且僅當輸出電位隨時間變化不變時．網絡的能量才會不變。換而言之，在上述條件下的網絡是能量不變或下降的。

這個定理的證明過程如下：

對能量函數E(t)求時間的導數dE(t)／dt，則有

(1-53)

如果存在Wij＝Wji，則上式可寫為

	(1-54)
從連續Hopfield網絡的動態方程，有
	(1-55)
故上面(1—54)式可寫成
	(1-56)
由於  Vj(t)=gj(Uj(t))	(1-57)
故而有  Uj(t)=gj-1(Vj(t))	(1-58)
從而有
	(1-59)
從   g(u)=1/(1+exp(-u))	(1-60)

 

可知其反函數為單調升函數。因而對於dE(t)／dt中的g_j^-1(v_j(t))，必有單調升的特點．則其導數必定大於0，即

[g_j^-1(v_j(t))]'>0

同時容易知道

C_j>0

很明顯，在dE(t)／dt時，必定有

而且當，僅當

有

至此，則定理證明完畢。

這個定理說明Hopfield網絡的能量函數E(t)是單調下降的；如果E(t)有下界，即有確定的極小值；那么網絡必定是穩定的。而且，可以知道穩定點對應於能量函數的下界，即極小值。

下一步工作，只需證明能量函數有下界，那么．就可以證明網絡是穩定的。

可以證明，如果Hopfield網絡的傳遞函數g是連續而且有界的，那么，能量函數E(t)是有界的。

最后，有如下結論：

當Hopfield網絡的神經元傳遞函數g是連續且有界的，例如Sigmoid函數，並且網絡的權系數矩陣對稱，則這個連續Hopfield網絡是穩定的。在實際應用中，任何一個系統，如果其優化問題可以用能量函數E(t)作為目標函數，那么，總可以用連續Hopfield網絡對其進行求解。由於引入能量函數E(t)，Hopfield使神經網絡和問題優化直接對應；這種工作是具開拓性的。利用神經網絡進行優化計算，就是在神經網絡這一動力系統給出初始的估計點，即初始條件；然后隨網絡的運動傳遞而找到相應極小點。這樣，大量的優化問題都可以用連續的Hopfield網來求解。這也是Hopfield網絡用於神經計算的基本原因。

 

ps： Hopfield網絡是神經網絡發展歷史上的一個重要的里程碑。Hopfield神經網絡是1982年美國物理學家J.Hopfield首先提出來的，屬於反饋神經網絡類型。與前向型神經網絡不同，前向神經網絡不考慮輸出與輸入之間在時間上的滯后影響，其輸出與輸入之間僅僅是一種映射關系。而Hopfield網絡則不同，它采用反饋連接，考慮輸出與輸入在時間上的傳輸延遲，所表示的是一個動態過程，需要用差分或微分方程來描述，因而Hopfield網絡是一種由非線性元件構成的反饋系統，其穩定狀態的分析比前向神經網絡要復雜得多。
      Hopfield用能量函數的思想形成了一種新的計算方法，闡明了神經網絡與動力學的關系，並用非線性動力學的方法來研究這種神經網絡的特性，建立了神經網絡穩定性判據，並指出信息存儲在網絡各個神經元之間的連接上，形成了所謂的Hopfield網絡。 Hopfield還將該反饋網絡同統計物理中的lsing模型相類比，把磁旋的向上和向下方向看成神經元的激活和抑制兩種狀態，把磁旋的相互作用看成神經元的突觸權值。這種類推為大量的物理學理論和許多的物理學家進入神經網絡領域鋪平了道路。1984年，Hopfield設計並研制了Hopfleld網絡模型的電路，指出神經元可以用運算放大器來實現，所有神經元的連接可用電子線路來模擬，稱之為連續Hopfield網絡。使用該電路，Hopfleld成功地解決了旅行商(TSP)計算難題(優化問題)。