《人工神經網絡》第7章 聯想記憶神經網絡

　　聯想記憶 AM（Associative Memory）是神經網絡研究的一個重要方面，在許多領域被廣泛應用。AM 作為人工神經網絡的一種能力，就是將任意的輸入矢量集通過線性或非線性映射，變換為輸出矢量集。

7.1  聯想記憶基本特點

7.1.1  聯想記憶的原理

　　聯想記憶網絡存貯的是成對的矢量即模式對。設在學習過程中存入 M 個學習樣本對 { Xⁱ，Yⁱ }，i = 1，2，...，M，若輸入樣本為 X = X^k + α，其中 X^k 是 M 個存貯學習的樣本之一，α 是噪聲，要求輸出：Y = Y^k。因此聯想記憶有兩種情況：

（1）自聯想記憶：存貯的學習模式對一樣，即 X^k = Y^k。此時，通過輸入模式的一部分信息即可恢復模式的全部信息，此過程相當於濾波過程。

（2）異聯想記憶：網絡存貯的學習模式對不同，X^k ≠ Y^k，即網絡存貯了兩個模式對之間的對應關系。異聯想記憶實際上確定了輸入模式與輸出模式之間的對應關系，它在內容異址存貯、模式分類等方面應用廣泛。

　　聯想記憶的運行方式可以分為兩類：

（1）映射式：即通過構造一定的映射（變換），使輸入直接映射為所需的輸出。感知機、多層前向網絡、最優線性 AM 網絡均屬此類。優點是可用一定方法訓練網絡，現有的絕大多數學習算法均屬此類。

（2）AM 按非線性動力學系統的演化過程進行：待識別的模式設為系統的初始狀態，將網絡按一定的動力學規律演化，網絡最終平衡穩定的狀態即為輸出的模式。Hopfield 網絡的聯想記憶屬於此類。

　　聯想記憶研究的問題：存貯容量、容錯性、穩定性、學習算法

　　以上問題解決之后，AM 網絡具備以下能力：盡可能多地存貯輸入輸出模式對；強壯的魯棒性和冗余性；並行性計算；分布式存貯；實時快速性；自組織性。

7.1.2  聯想記憶的設計原則

　　聯想記憶屬於內容尋址過程，即當給定一組信息的部分信息時，可恢復出這組信息的全部內容。一個有效的內容尋址可以存貯大量的記憶樣本，並且當用含有部分信息的關鍵信息去激勵 AM 神經網絡時，可恢復出每一個記憶模式。

 

 

 

7.2  線性聯想記憶（LAM）模型

7.2.1  LAM 模型

　　線性聯想記憶（Linear Associative Memory），簡稱 LAM 網絡。LAM 常用作異聯想模式匹配器，能存貯任意模擬值模式對（A_k，B_k），k=1，2，...，m。在第 k 個模式對中，模擬值模式：

重要性質：

 

 

[ 定理 7.1 ]  對於聯想記憶矩陣（7.1）式，LAM 要完成精確聯想：

 

　　　　　　B_k = WA_k

 

當且僅當輸入模式 A_k（k=1，2，...，m）相互歸一化正交（即輸入矢量構成 m 維空間的一組正交矢量基）。

　　當輸入模式相互歸一化正交時，LAM 的學習等價於 Madalines 的 LMS 學習算法，此時的到的權值是最小二乘法意義下的最優解。與 LMS 算法不同的是，LAM 網絡學習對輸入模式提出更苛刻的要求，即輸入模式必須相互歸一化正交。在 LMS 算法中，只要求輸入模式線性無關。然而，LAM 只需要一個學習周期就能獲得要求的連接權（學習快），而 LMS 算法在合理的學習步長情況下，卻需要相當多的學習周期才能近似獲得要求的連接權（學習時間長）。

　　LAM 網絡學習能形成內插模式匹配器，可由下面的聯想相似性定理描述。

[ 定理7.2 ]   若輸入模式 A 可以表示成相互歸一化正交模式 A_k（k=1，2，..，m）的線性組合（內插）：

 

　　LAM 學習的局限性：存貯的模式最大數為 n（L_A 層的單元數），不能存貯模式對之間的非線性映射關系（是線性矩陣運算造成的）。

7.2.2  線性聯想記憶算法步驟

線性聯想記憶算法步驟：

（1）令網絡初始連接權為零

（2）對第 k 個模式對（A_k，B_k），連接權的變化量為：

　　　　　　

（3）重復步驟（2），當所有模式對都提供給網絡后，結束學習。

 

 

7.3  雙向聯想記憶 BAM 模型

 

7.3.1  離散 BAM

 

　　離散雙向聯想記憶（Discrete Bi-directional Associative Memory）簡稱BAM。BAM 網絡用作異聯想最鄰近模式適配器，能存貯任意雙極值或二值模式對（A_k，B_k）（k = 1，2，...，m）。第 k個模式對中，

 

 

　　圖中，L_A 層的 n 個單元對應於 A_k 的 n 個分量，而 L_B 層的 p 個單元對應於 B_k 的 p 個分量。雙向的含義是：可以用 A_k 聯想出 B_k，或用 B_k 聯想出 A_k；也可以用部分 A_k 和 B_k 聯想出完整的 A_k 和 B_k。

 

[定理 7.3]  當 L_A 層和（或）L_B 層中某一單元激活狀態發生變化時，BAM 網絡的能量函數減小；僅當 L_A 層和 L_B 層中所有單元的激活狀態停止變化時，網絡穩定。

　　網絡總是朝着能量減小的方向變化，當網絡單元的激活狀態停止變化時，網絡處於平衡狀態。BAM 網絡通過網絡的能量函數局部極小點來存貯模式對，並且其補模式對也存貯在相同的局部極小點上。當由不完善（或噪聲）模式對聯想存貯模式對時，采用異步方式更利於網絡收斂；當存貯模式對中的某一模式回想另一模式時，采用同步方式更有利於網絡收斂。

7.3.2  自適應 BAM

 

　　自適應雙向聯想記憶（Adaptive Bidrectional Associative Memory），簡稱 ABAM。

 

 

 

 

 

　　ABAM 網絡的記憶是可塑的。也就是說，任何一個模式對只要提供給網絡足夠長的時間，那么學習的結果將是這個模式對覆蓋原先存貯的模式對而存貯於網絡之中。用采樣學習的方法來克服這種不足，即在采樣學習期間，各模式對被隨機地選出並提供給網絡一個不長的時間，這樣學習率較低時(a << 1)，網絡能存貯足夠多的模式對。

 

　　ABAM 是全局穩定的。這個網絡的記憶可塑性也是網絡的一個優點，能使網絡從噪聲數據集合中提出數據明顯的統計特征。ABAM 一個主要缺點是其較小的模式對存貯容量，只能存貯比 q = min( n，p) 更小數目的模式對。

 

 

 

7.4  時間聯想記憶 TAM 模型

 

　　時間聯想記憶（Temporal Associative Memory）簡稱 TAM。

 

 

 

 

 

 

 

 

　　TAM 一個突出特點是能存貯一個模式序列環，且能從該序列中的任意模式開始重演這個序列。這種序列重演功能可用於並行有限狀態機等方面。