自組織神經網絡模型與學習算法


自組織神經網絡又稱為自組織競爭神經網絡,特別適合於解決模式分類和識別方面的應用問題。該網絡模型屬於前向神經網絡模型,采用無監督學習算法,其工作的基本思想是讓競爭層的各個神經元通過競爭與輸入模式進行匹配,最后僅有一個神經元成為競爭的勝利者,這一獲勝神經元的輸出就代表對輸入模式的分類。

常用的自組織競爭神經網絡有自適應共振理論(ART)網絡,自組織特征映射(SOM)網絡,對傳(CP)網絡和協同神經網絡(SNN)等。

自組織特征映射網絡的學習算法

Kohonen自組織特征映射算法。能夠自動找出輸入數據之間的類似度,將相似的輸入在網絡上就近配置,因此是一種可以構成對輸入數據有選擇地給予反應的網絡。其學習算法的步驟如下:

  1. 網絡初始化 用隨機數設定輸入層和映射層之間的權值的初始值
  2. 輸入向量的輸入 把輸入向量 \(x = (x_1, x_2, \cdots, x_n)^T\) 輸入給輸入層
  3. 計算映射層的權值向量和輸入向量的距離 在映射層,計算各神經元的權值向量和輸入向量的歐氏距離。這里,映射層的第j個神經元和輸入向量的距離為:$$d = \sqrt{\sum^n_{i=1}(x_i - w_{ij})^2}$$ 其中,\(w_{ij}\) 為輸入層的i神經元和映射層的j神經元之間的權值。
  4. 選擇權值向量的距離最小的神經元 計算並選擇使輸入向量和權值向量的距離最小的神經元,如\(d_j\) 為最小,把其稱為勝出神經元,並記作\(j^*\) 並給出其鄰接神經元集合。
  5. 權值的學習 勝出神經元和位於其臨界神經元的權值,以下式更新$$\Delta w_{ij} = \eta h(j, j^*)(x_i - w_{ij})$$ 其中 \(\eta\) 是一個大於0小於1的常數。 \(h(j,j^*) = exp(-\frac{\vert j - j^* \vert^2}{\sigma^2})\) 其中 \(\sigma^2\) 會隨着學習的進行而減小,因此\(h(j,j^*)\) 也會隨着學習的進行而慢慢變窄。 換言之,隨着學習的進行,從粗調會過度到微調。
  6. 是否到達預先設定的要求 如達到要求,則算法結束,否則返回2 進行下一輪的學習。

可見,勝出神經元和其附近的神經元全部接近當時的輸入向量。學習初期,根據鄰域函數\(h(j,j^*)\) 在附近有很多神經元,形成粗略的映射。隨着學習的進行,其鄰域函數變窄,勝出神經元附近的神經元數變少,因此,接着進行局部微調,空間分辨率提高。

自組織競爭神經網絡算法能夠進行有效的自適應分類,但它仍然存在一些問題。第一個問題就是學習速度的選擇使其不得不在學習速度和最終權值向量的穩定性之間進行折衷。第二個問題是有時一個神經元的初始權值向量離輸入向量太遠以至於它從未在競爭中獲勝,因而也從未得到學習,這就形成毫無用處的“死”神經元。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM