學習向量量化神經網絡


在競爭網絡結構的基礎上,學習向量化(learning vector quantization,LVQ)網絡被提出來。融合競爭學習思想和有監督學習算法的特點,通過教師信號對輸入樣本的分配類別進行規定,從而克服自組織網絡採用無監督學習算法帶來的缺乏分類信息的弱點。

1.    向量量化

向量量化的思路是,將高維輸入空間分成若干不同的區域。對每一個區域確定一個中心向量作為聚類的中心。與其處於同一區域的輸入向量可用該中心向量來代表。從而形成了以各中心向量為聚類中心的點集。在圖像處理領域經常使用各區域中心點(向量)的編碼取代區域內的點來存儲或傳輸。從而提出了各種基於向量量化的有損壓縮技術。

在二維輸入平面上表示的中心向量分布稱為Voronoi圖。例如以下圖所看到的,前兩篇博文介紹的勝者為王的學習規則以及SOFM競爭學習算法都是一種向量量化算法。能用少量聚類中心表示原始數據,從起到數據壓縮作用。但SOFM的各聚類中心相應的向量具有某種相似的特征,而一般向量量化的中心不具有這樣的相似性。


自組織映射能夠起到聚類作用。但無法直接分類或識別,因此它僅僅是自適應解決模式分類問題兩步中的第一步。

且讓我把第二步:學習向量量化,採用監督機制。在訓練中增加教師信號作為分類信息對權值進行細調,並對輸出神經元預先指定其類別。

2.    LVQ網絡結構與工作原理

結構例如以下圖所看到的:


競爭層有m個神經元,輸入層有n個神經元,兩層之間全然連接。輸出層每一個神經元僅僅與競爭層中的一組神經元連接,連接權重固定為1,訓練過程中輸入層和競爭層之間的權值逐漸被調整為聚類中心。當一個樣本輸入LVQ網絡時,競爭層的神經元通過勝者為王學習規則產生獲勝神經元。容許其輸出為1。其他神經元輸出為0。與獲勝神經元所在組相連的輸出神經元輸出為1,而其他輸出神經元為0,從而給出當前輸入樣本的模式類。將競爭層學習得到的類成為子類。而將輸出層學習得到的類成為目標類。

3.    LVQ網絡學習算法

LVQ網絡的學習規則結合了競爭學習規則和有導師學習規則,所以樣本集應當為{(xi,di)}。

當中di為l維,相應輸出層的l個神經元,它僅僅有一個分量為1,其它分量均為0。

通常把競爭層的每一個神經元指定給一個輸出神經元,相應的權值為1,從而得到輸出層的權值。

比方某LVQ網絡競爭層6個神經元,輸出層3個神經元,代表3類。若將競爭層的1,3指定為第一個輸出神經元,2。5指定為第二個輸出神經元,3,6指定為第三個輸出神經元。則競爭層到輸出層的權值矩陣為:


訓練前預先定義好競爭層到輸出層權重,從而指定了輸出神經元類別,訓練中不再改變。網絡的學習通過改變輸入層到競爭層的權重來進行。依據輸入樣本類別和獲勝神經元所屬類別,可推斷當前分類是否正確。

若分類正確。則將獲勝神經元的權向量向輸入向量方向調整。分類錯誤則向相反方向調整。例如以下圖所看到的:


LVQ網絡學習算法的過程例如以下:

(1)   初始化。競爭層各神經元權值向量隨機賦值小隨機數。確定初始學習速率和訓練次數。

(2)   輸入樣本向量。

(3)   尋找獲勝神經元。

(4)   依據分類是否正確依照不同規則調整獲勝神經元的權值:當網絡分類結果與教師信號一致時,向輸入樣本方向調整權值:


當網絡分類結果與教師信號不一致時,向輸入樣本反方向調整權值:


其它非獲勝神經元權值保持不變。

(5)   更新學習速率


(6)   當訓練次數未達到設定的次數時,轉到步驟(2)輸入下一個樣本。反復各步驟直到達到設定訓練次數為止。

上述訓練過程中,要保證η(t)為單調下降函數。

總結

LVQ網絡是SOFM網絡一種有監督形式的擴展。兩者有效結合可更好地發揮競爭學習和有監督學習的長處。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM