神經網絡分類
多層神經網絡：模式識別
相互連接型網絡：通過聯想記憶去除數據中的噪聲
1982年提出的Hopfield神經網絡是最典型的相互連結型網絡。
聯想記憶
當輸入模式為某種狀態時，輸出端要給出與之相應的輸出模式。
如果輸入模式與輸出模式一致，稱為自聯想記憶，否則，稱為異聯想記憶。
Hopfield
網絡結構上，Hopfield神經網絡是一種單層互相全連接的反饋型神經網絡。每個神經元既是輸入也是輸出，網絡中的每一個神經元都將自己的輸出通過連接權傳送給所有其它神經元，同時又都接收所有其它神經元傳遞過來的信息。即：網絡中的神經元在t時刻的輸出狀態實際上間接地與自己t-1時刻的輸出狀態有關。神經元之間互連接，所以得到的權重矩陣將是對稱矩陣。
假設有n個單元組成的Hopfield神經網絡，第i個單元在t時刻的輸入記作ui(t)，輸出記作xi(t)，連接權重為wij，閾值為bi(t)，則t+1時刻i單元的輸出xi(t+1)可表示為：
在Hopfield神經網絡中，每個時刻都只有一個隨機選擇的單元會發生狀態變化。由於神經元隨機更新，所以稱此模型為離散隨機型。
對於一個由n個單元組成的網絡，如果要完成全部單元的狀態變化，至少需要n個時刻。
根據輸入模式聯想輸出模式時，需要事先確定連接權重wij，而連接權重wij要對輸入模式的訓練樣本進行訓練后才能確定。
和多層神經網絡一樣，一次訓練並不能確定連接權重，而是要不斷重復這個過程，直到滿足終止判斷條件，而這個指標就是Hopfield神經網絡的能量函數E。
當輸入模式與輸出模式一致時，能量函數E的結果是0。
根據前面定義的狀態變化規則改變網絡狀態時，上式中定義的能量函數E總是非遞增的，即隨時間的不斷增加而逐漸減小，直到網絡達到穩定狀態為止。
Hopfield網絡的優點
單元之間的連接權重對稱 (wij = wji)
每個單元沒有到自身的連接 (wii = 0)
單元的狀態采用隨機異步更新方式，每次只有一個單元改變狀態
n個二值單元做成的二值神經網絡，每個單元的輸出只能是0或1的兩個值
問題
當需要記憶的模式之間較為相似，或者需要記憶的模式太多時，Hopfield神經網絡就不能正確地辨別模式。這種相互干擾、不能准確記憶的情況成為串擾(crosstalk)。
Hopfield神經網絡能夠記憶的模式數量有限，大約是網絡單元數的15%左右，為了防止串擾，可以采用先把模式做正交化再進行記憶等方法。
但是正交化方法並不能完全解決問題，玻爾茲曼機可以解決這一問題。