競爭神經網絡學習筆記


競爭神經網絡學習

競爭型神經網絡是基於無監督學習(Unsupervised learning)方法的神經網絡的一種重要類型,它經常作為基本的網絡形式,構成其它一些具有自組織能力的網絡,如自組織映射網絡(SOM)、自適應共振理論網絡、學習向量量化網絡

生物神經網絡存在一種側抑制的現象,即一個神經細胞興奮后,通過它的分支會對周圍其他神經細腦產生抑制,這種抑制使神經細胞之間出現競爭:在開始階段,各神經元對相同的輸入具有相同的響應機會,但產生的興奮程度不同,其中興奮最強的一個神經細胞對周圍神經細胞的抑制作用也最強,從而使其它神經元的興奮得到最大程度的抑制,而興奮最強的神經細胞卻戰勝了其它神經元的抑制作用脫穎而出,成為競爭的勝利者,並因為獲勝其興奮的程度得到進一步加強,正所謂成者為王,敗者為寇

一、競爭型神經網絡結構模型:

競爭型神經網絡只有兩層(輸入層和核心輸出層),如圖所示:

 

 

競爭型神經網絡結構

在競爭神經網絡中,輸出層又被稱為核心層。在一次計算中,只有一個輸出神經元獲勝,獲勝的神經元標記為1,其余神經元標記為0。起初,輸入層到核心層的權值是隨機給定的,因此每個核心層神經元獲勝的概率相同,但最后會有一個興奮最強的神經元。興奮最強的神經元“戰勝”了其他神經元,在權值調制中其興奮程度得到進一步加強,而其他神經元則保持不變。競爭神經網絡通過這種競爭學習的方式獲取訓練樣本的分布信息,每個訓練樣本都對應一個興奮的核心層神經元,也就是對應一個類別,當有新樣本輸入時,就可以根據興奮的神經元進行模式分類。

二、關於輸入層到競爭層有幾種不同的計算方法:

1、計算輸入向量和權值距離的負數,然后加上一個閾值,結果大的那個神經元獲勝,獲勝為1,其他為0,然后調節獲勝神經元對應的閾值。以下為步驟:

 

 

 可以看出競爭型神經網絡為單層網絡。||ndist|| 的輸入為輸入向量p和輸入權值向量IW,其輸出為(S1*1)的列向量列向量中的每個元素為輸入向量p和輸入權值向量IW距離的負數(negative,在神經網絡工具箱中以距離函數negdist進行計算。 

 n1為競爭層傳輸函數的輸入,其值為輸入向量p和輸入權值向量IW距離的負數與閾值b1之和如果所有的閾值向量為0,則當輸入向量p和輸入權值向量IW相等時,n1為最大值0
       對於n1中最大的元素,競爭層傳輸函數輸出1(即競爭的獲勝者輸出為1),而其它元素均輸出0。如果所有的閾值向量為0,則當神經元的權值向量最接近輸入向量時,它在n1各元素中的負值最小,而值最大,從而贏得競爭,對應的輸出為1

2、競爭型神經網絡的學習

(1)Kohonen 權值學習規則

競爭型神經網絡按Kohonen學習規則對獲勝神經元的權值進行調整。假若第i個神經元獲勝,則輸入權值向量的第i行元素(即獲勝神經元的各連接權)按下式進行調整,而其他神經元的權值不變。

 

 Kohonen學習規則通過輸入向量進行神經元權值的調整,因此在模式識別的應用中是很有用的。通過學習,那些最靠近輸入向量的神經元權值向量被修正,使之更靠近,其結果是獲勝的神經元在下一次相似的輸入向量出現時,獲勝的可能性會更大;而對於那些相差很遠的輸入向量,獲勝的可能性將變得很小。

這樣,當經過越來越多的訓練樣本學習后,每一個網絡層中的神經元的權值向量很快被調整為最接近某一類輸入向量的值。最終的結果是,如果神經元的數量足夠多,則具有相似輸入向量的各類模式作為輸入向量時,其對應的神經元輸出為1;而對於其它模式的輸入向量,其對應的神經元輸出為0。所以,競爭型網絡具有對輸入向量進行學習分類的能力。

(2)閾值學習規則

在競爭型神經網絡中,有可能某些神經元始終無法贏得競爭,其初始值偏離所有樣本向量,因此無論訓練多久都無法成為獲勝神經元。這種神經元稱為“死神經元”。

為了解決死神經元的問題,可以給很少獲勝的神經元以較大的閾值,使其在輸入向量與權值相似性不太高的情況下也有可能獲勝;而對於那些經常獲勝的神經元則給以較小的閾值。在實現時,通過計算神經元輸出為1的百分比,因此越經常獲勝的神經元,其輸出向量的平均值越大,而死神經元輸出向量的平均值為零。

閾值學習規則有如下兩點好處:

a、有效解決了“死神經元”問題

b、經常獲勝的神經元,其閾值不斷下降,獲勝的概率逐漸降低。系統強行降低這類神經元的輸入響應空間,輸入向量必須與權值很相似時神經元才會響應,而對於從未獲勝的神經元來說,則不必如此相似。當輸入空間的一個區域包含很多輸入向量時,輸入向量密度大的區域將吸引更多的神經元,導致更細的分類,而輸入向量稀疏處則恰好相反。

閾值學習規則的運行過程就像人類的“同情”弱者一樣,體現人的“良心”,在MATLAB中閾值學習規則由learncon函數實現。

三、競爭型神經存在的問題

對於模式樣本本身具有較明顯的分類特征,競爭型神經網絡可以對其進行正確的分類,網絡對同一類或相似的輸入模式具有較穩定的輸出響應。但也存在一些問題:

(1)當學習模式樣本本身雜亂無章,沒有明顯的分類特征時,網絡對輸入模式的響應呈現振盪的現象,即對同一類輸入模式的響應可能激活不同的輸出神經元,從而不能實現正確的分類。當各類模式的特征相近時,也會出現同樣的狀況。

2)在權值和閾值的調整過程中,學習率的選擇在學習速率和穩定性之間存在矛盾,而不象前面我們介紹的其它學習算法,可以在剛開始時采用較大的學習率,而在權值和閾值趨於穩定時,采用較小的學習率。而競爭型神經網絡當增加新的學習樣本時,權值和閾值可能需要比前一次更大的調整。

3)網絡的分類性能與權值和閾值的初始值、學習率、訓練樣本的順序、訓練時間的長短(訓練次數)等都有關系,而又沒有有效的方法對各種因素的影響加以評判。

(4)在MATLAB神經網絡工具箱中,以trainr函數進行競爭型神經網絡的訓練,用戶只能限定訓練的最長時間或訓練的最大次數,以此終止訓練,但終止訓練時網絡的分類性能究竟如何,沒有明確的指標進行評判。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM