MATLAB神經網絡(7) RBF網絡的回歸——非線性函數回歸的實現


7.1 案例背景

7.1.1 RBF神經網絡概述

徑向基函數是多維空間插值的傳統技術,RBF神經網絡屬於前向神經網絡類型,網絡的結構與多層前向網絡類似,是一種三層的前向網絡。第一層為輸入層,由信號源結點組成;第二層為隱藏層,隱藏層節點數視所描述問題的需要而定,隱藏層中神經元的變換函數即徑向基函數是對中心點徑向對稱且衰減的非負非線性函數,該函數是局部響應函數,而以前的前向網絡變換函數都是全局響應的函數;第三層為輸出層,它對輸入模式作出響應。
RBF網絡的基本思想是:用RBF作為隱單元的“基”構成隱藏層空間,隱含層對輸入矢量進行變換,將低維的模式輸入數據變換到高維空間內,使得在低維空間內的線性不可分的問題在高維空間內線性可分。
RBF神經網絡結構簡單、訓練簡潔而且學習收斂速度快,能夠逼近任意非線性函數,因此已被廣泛應用於時間序列分析、模式識別、非線性控制和圖形處理等領域。

7.1.2 RBF神經網絡結構模型

 

 

徑向基神經網絡的節點激活函數采用徑向基函數,通常定義為空間任一點到某一中心之間的歐式距離的單調函數。

徑向基神經網絡的激活函數是以輸入向量和權值向盤之間的距離$\left| {\left| {dist} \right|} \right|$作為自變量的。徑向基神經網絡的激活函數的一般表達式為\[R\left( {\left| {\left| {dist} \right|} \right|} \right) = {e^{ - {{\left| {\left| {dist} \right|} \right|}^2}}}\]隨着權值和輸入向量之間距離的減少,網絡輸出是遞增的,當輸入向量和權值向量一致時,神經元輸出為1。圖中的$b$為闊值,用於調整神經元的靈敏度。利用徑向基神經元和線性神經元可以建立廣義回歸神經網絡,此種神經網絡適用於函數逼近方面的應用;徑向基神經元和競爭神經元可以建立概率神經網絡,此種神經網絡適用於解決分類問題。

RBF神經網絡中,輸入層僅僅起到傳輸信號的作用,與前面所講述的神經網絡相比較,輸入層和隱含層之間可以看作連接權值為1的連接,輸出層和隱含層所完成的任務是不同的,因而它們的學習策略也不相同。輸出層是對線性權進行調整,采用的是線性優化策略,因而學習速度較快。而隱含層是對激活函數(格林函數或高斯函數,一般取高斯函數)的參數進行調整,采用的是非線性優化策略,因而學習速度較慢。

7.1.3 RBF神經網絡的學習算法

RBF神經網絡學習算法需要求解的參數有3個:基函數的中心、方差以及隱含層到輸出層的權值。根據徑向基函數中心選取方法的不同,RBF網絡有多種學習方法,如隨機選取中心法、自組織選取法、有監督選取中心法和正交最小二乘法等。下面將介紹自組織選取中心的RBF神經網絡學習法。該方法由兩個階段組成:一是自組織學習階段,此階段為無導師學習過程,求解隱含層基函數的中心與方差;二是有導師學習階段,此階段求解隱含層到輸出層之間的權值。

徑向基神經網絡中常用的徑向基函數是高斯函數,因此徑向基神經網絡的激活函數可表示為\[R({x_p} - {c_i}) = \exp \left( { - \frac{1}{{2{\sigma ^2}}}{{\left| {\left| {{x_p} - {c_i}} \right|} \right|}^2}} \right)\]式中${\left| {\left| {{x_p} - {c_i}} \right|} \right|}$為歐式范數,$c_{i}$為高斯函數的中心,$\sigma$為高斯函數的方差。

徑向基網絡的輸出為\[{y_j} = \sum\limits_{i = 1}^h {{\omega _{ij}}R({x_p} - {c_i})} \;\;\;j = 1,2, \ldots ,n\]式中${x_p} = {({x_1}^p,{x_2}^p, \ldots ,{x_m}^p)^T}$為第$p$個輸入樣本,$p = 1,2, \ldots ,P$,$P$為樣本總數,$c_{i}$為網絡隱含層結點的中心,${{\omega _{ij}}}$為隱含層到輸出層的鏈接權值,$i = 1,2, \ldots ,h$


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM