極限學習機(Extreme Learning Machine)概述

摘要

當今研究領域的一項事實就是，前向神經網絡(feed-forward neural networks)的訓練速度比人們所期望的速度要慢很多。並且，在過去的幾十年中，前向神經網絡在應用領域存在着很大的瓶頸。導致這一現狀的兩個關鍵因素就是：

• 神經網絡的訓練，大多使用基於梯度的算法，而這種算法的訓練速度有限；
• 使用這種訓練算法，在迭代時，網絡的所有參數都要進行更新調整。

而在2004年，由南洋理工學院黃廣斌教授所提出的極限學習機器(Extreme Learning Machine，ELM)理論可以改善這種情況。最初的極限學習機是對單隱層前饋神經網絡(single-hidden layer feed-forward neural networks，SLFNs)提出的一種新型的學習算法。它隨機選取輸入權重，並分析以決定網絡的輸出權重。在這個理論中，這種算法試圖在學習速度上提供極限的性能。
如需轉載本文，請注明出處：http://blog.csdn.net/ws_20100/article/details/49555959

---

極限學習機原理

ELM是一種新型的快速學習算法，對於單隱層神經網絡，ELM 可以隨機初始化輸入權重和偏置並得到相應的隱節點輸出：

對於一個單隱層神經網絡(結構如上圖所示)，假設有 N 個任意的樣本 (xj,tj) ，其中，

xj=[xj1,xj2,...,xjn]T∈Rn ， tj=[tj1,tj2,...,tjm]T∈Rm

對於一個有 L 個隱層節點的單隱層神經網絡可以表示為

∑i=1Lβig(wi⋅xj+bi)=oj,  j=1,2,...,N

其中， g(x) 為激活函數， wi=[wi1,wi2,...,win]T 是第 i 個隱層單元的輸入權重， bi 是第 i 個隱層單元的偏置， βi=[βi1,βi2,...,βim]T 是第 i 個隱層單元的輸出權重。 wi⋅xj 表示 wi 和 xj 的內積。

1.學習目標

單隱層神經網絡學習的目標是使得輸出的誤差最小，可以表示為

∑j=1N||oj−tj||=0

即存在 wi 、 xj 和 bi 使得：

∑i=1Lβig(wi⋅xj+bi)=tj,  j=1,2,...,N

可以矩陣表示：

H⋅β=T

其中， H 是隱層節點的輸出， β 為輸出權重， T 為期望輸出。

H(w1,...,wL,b1,...,bL,x1,...,xN)=⎡⎣⎢⎢g(w1⋅x1+b1)⋮g(w1⋅xN+b1)⋯⋯⋯g(wL⋅x1+bL)⋮g(wL⋅xN+bL)⎤⎦⎥⎥N×Lβ=⎡⎣⎢⎢β1T⋮βLT⎤⎦⎥⎥L×m T=⎡⎣⎢⎢t1T⋮tNT⎤⎦⎥⎥N×m

為了能夠訓練單隱層神經網絡，我們希望得到 wi^ ， bi^ 和 βi^ ，使得

||H(wi^,bi^)⋅β^−T||=minw,b,β||H(wi,bi)⋅β−T||

其中， i=1,2,...,L ，這等價於最小化損失函數

E=∑j=1N||∑i=1Lβi⋅g(wi⋅xj+bi)−tj||22

2.學習方法

傳統的一些基於梯度下降法的算法，可以用來求解這樣的問題，但是基本的基於梯度的學習算法需要在迭代的過程中調整所有參數。而在ELM算法中, 一旦輸入權重 wi 和隱層的偏置 bi 被隨機確定，隱層的輸出矩陣 H 就被唯一確定。訓練單隱層神經網絡可以轉化為求解一個線性系統： H⋅β=T 。並且輸出權重可以被確定

β^=H†⋅T

其中， H† 是矩陣 H 的 Moore−Penrose 廣義逆矩陣。且可證明求得的解 β^ 的范數是最小的並且唯一。

---

實現代碼

代碼下載：http://download.csdn.net/detail/ws_20100/9230271

輸入的訓練數據，格式為一個 N×(1+n) 矩陣，其中每行代表一個樣本(共有 N 行)。每行的第一個元素為該樣本的“回歸的期望值”或“分類的類別號”(對應於 tj )，后面的n個元素為該樣本的輸入數據(對應於 xj∈Rn )。測試數據的格式也類似。

對於回歸應用，一個例子為：

[TrainingTime, TestingTime, TrainingAccuracy, TestingAccuracy] = elm('sinc_train', 'sinc_test', 0, 20, 'sig')

對於分類應用，一個例子為：

elm('diabetes_train', 'diabetes_test', 1, 20, 'sig')

這兩個訓練和測試集在黃廣斌教授的網站上都可以下載。

---

參考資料：

[1] G.-B. Huang, Q.-Y. Zhu, and C.-K. Siew, “Extreme learning machine: A new learning scheme of feedforward neural networks,” in Proc. Int. Joint Conf. Neural Networks, July 2004, vol. 2, pp. 985–990.