RBF網絡能夠逼近任意的非線性函數，可以處理系統內的難以解析的規律性，具有良好的泛化能力，並有很快的學習收斂速度，已成功應用於非線性函數逼近、時間序列分析、數據分類、模式識別、信息處理、圖像處理、系統建模、控制和故障診斷等。
輸入X是個m維的向量，樣本容量為P，P>m。可以看到輸入數據點Xp是徑向基函數φp的中心。隱藏層的作用是把向量從低維m映射到高維P，低維線性不可分的情況到高維就線性可分了。
RBF Network 通常只有三層。輸入層、中間層計算輸入 x 矢量與樣本矢量 c 歐式距離的 Radial Basis Function (RBF) 的值，輸出層算它們的線性組合。
圖一
如此可見，和普通的三層神經網絡，RBF 神經網絡的區別在中間層。中間層采用 RBF Kernel 對輸入作非線性變換，以便輸出層訓練線性分類器。
那么RBF Kernel 有什么特點呢？
圖二 Radial Basis Function
圖三 Plot of Radial Basis Function with 2D input
RBF 擁有較小的支集。針對選定的樣本點，它只對樣本附近的輸入有反應，如下圖。
圖四 RBF 使樣本點只被附近（圈內）的輸入激活
T. Poggio 將 RBF 比作記憶點。與記憶樣本越近，該記憶就越被激活。
有的同學看到這，也許會說：這不就是 SVM with RBF Kernel 么。
這些同學對了一半。光看模型，RBF Network 確實與 SVM with RBF kernel 無異。區別在於訓練方式。
其實在深度學習出現之前，RBF神經網絡就已經提出了 2-stage training。
第一階段為非監督學習，從數據中選取記憶樣本（圖四中的紫色中心）。例如聚類算法可在該階段使用。
第二階段為監督學習，訓練記憶樣本與樣本輸出的聯系。該階段根據需要可使用 AD/BP。
1. RBF神經網絡的訓練過程可以使用BP，因此應納入BP神經網絡的范疇。
2. RBF神經網絡的訓練分兩階段，這一點類似深度學習，且使RBF神經網絡不同於SVM with RBF kernel。
參考：
https://www.zhihu.com/question/44328472
https://www.cnblogs.com/zhangchaoyang/articles/2591663.html