最近研究上了這個一個東西--極限學習機。
在很多問題中,我大多會碰到兩個問題,一個是分類,另一個就是回歸。簡單來說,分類是給一串數打個標簽,回歸是把一串數變為一個數。
在這里我們需要處理的數據一般維度都比較高,在處理這兩類問題時最簡單的方法就是加權。使那些對最終結果影響大的維度的數據的權設大點,影響小的權設小點。其實,影響小的這些維度的數據對於我們整個建立的模型也不是完全沒有用的。至少它們保證了我們整個模型的穩定和魯棒性。
直到現在我都沒有說什么是ELM(極限學習機),因為,它本身還存在很大的爭議。就我到現在的研究,從實驗結果來說,所有變種的ELM,沒有最原始的ELM的結果好,而這最好的結果也沒有SVR(支持向量回歸)好。
ELM的網絡結構和單隱層的BP網絡是一樣的,只是他們內部神經元之間連接的權值的計算方法不一樣的。
網絡結構圖如下:
![]()
研究到后來發現了很多的問題。特別是其中的求偽逆的那個部分,當H的維數很高的時候,這樣求出來的偽逆的誤差是非常大的。
