ABSTRACT
近年來深度學習迅猛在各個研究領域發展發展，新的模型結構不斷涌現，且有層數逐漸加深的趨勢。然而深度模型往往有數量過於龐大的待優化參數，通常需要耗費大量的時間和機器資源來進行優化，而且不能根據需求及輸入的變化進行修改。在隨機向量函數鏈接神經網絡（RVFLNN）[1]-[3] 的基礎上，C. L. Philip Chen[4] 提出了旨在為深度結構提供替代方法的寬度學習系統（BLS）。寬度學習系統自被提出以后便引起了眾多研究人員的注意，本文將綜述BLS和它的幾種變體形式，以及它們在不同領域的幾種具體應用。
1 PRELIMINARIES
寬度學習系統脫胎於隨機向量函數鏈接神經網絡（RVFLNN）[1]-[3]，其結構如下圖所示。
在RVFLNN中，強化結點由輸入結點x進行非線性變換得到，理論上來說，只要這樣的非線性結點足夠多，該網絡就能有足夠的非線性能力來模擬任何非線性函數。若將輸入結點和強化結點視為神經網絡的同一層（即A），則整個網絡待確定的參數只有權重矩陣W
2 BLS
寬度學習系統[4] 在RVFLNN基礎上做出了改進。首先，寬度學習可以利用別的模型提取到的特征來訓練，即可以和別的機器學習算法靈活地結合。其次，寬度學習中加入了增量學習算法，它允許在網絡結構中加入新的結點時，以很小的計算開銷來更新網絡權重。這一特性使BLS在面對大規模的數據時，相對於深度結構具有巨大的優勢。BLS結構以及增量算法如圖所示。
3 BLS的變體
L. Philip Chen在[5]中進一步證明了寬度學習系統對於通用函數的逼近能力，並且提出了標准寬度學習系統的幾種變體形式，包括級聯結構、遞歸結構，以及一種將卷積網絡嵌入寬度學習系統的結構。本文的3.1-3.4是對這些變體的介紹。
考慮到深層結構可以提高模型的精確性，Zhulin Liu在[6]中提出了一種堆疊的寬度學習系統，文中將多個標准的BLS塊進行堆疊，在堆疊層數動態調整的過程中提高了模型的性能。本文3.5介紹了這一模型。
Liang Zhang[7]等人在級聯結構的基礎上，將金字塔結構、dropout操作和密集結構融入其中，提出了一些新的BLS變體，包括CFBLS-Pyramid、CEBLS-Dropout、CFBLS-Dense、CEBLS-Dense.具體結構參見本文3.7
3.1 特征級聯 [5]
特征級聯（CFBLS）是將特征結點一個接一個地通過級聯形式進行連接，如圖3所示。僅最后的特征結點級聯（LCFBLS）是指，特征結點依然采用一個接一個的級聯得到，但僅將最后一個特征結點與強化結點連接，如圖4(a)所示。
通常，特征結點的級聯類似於循環系統的定義。而遞歸結構往往用於對有順序的源數據進行建模，例如遞歸結構非常適合文本內容理解和處理輸入中的時序信息。為了學習順序信息，可以將特征結點的級聯形式改為以下的遞歸形式。
3.2 強化級聯 [5]
強化級聯（CEBLS）結構將強化結點進行依次級聯，如圖5(a)-(b)所示。同樣，強化結點的級聯結構也可以改為相應的遞歸結構，如圖5(c)。
3.3 特征-強化級聯 [5]
特征-強化級聯（CFEBLS）是一種特征結點和強化結點都采用順序級聯結構的BLS變體。
3.4 特征卷積級聯 [5]
由於卷積神經網絡在模式識別中表現出色，因此可以將卷積和池化操作嵌入寬度學習系統。特征卷積級聯（CCFBLS）就是將特征結點替換為卷積結構進行順序級聯的一種BLS變體。
3.5 堆疊寬度學習系統 [6]
Stacked BLS將原始的BLS結構作為一個塊（block），以每層計算殘差的方式將多個BLS塊層層堆疊，提高模型的精確度。在往上堆疊新塊時，底部塊的結構和權重是固定的，因此這種增量方法保持了原始BLS的有效性和高效性。
3.6 級聯BLS的變體 [7]
CFBLS-Pyramid、CEBLS-Dropout、CFBLS-Dense、CEBLS-Dense分別為在特征結點中使用金字塔結構、在強化結點中使用dropout操作、在特征結點中采用密集結構以及在強化結點中采用密集結構。如下圖所示。
4 BLS的應用
為了更充分地提取原始數據中的信息，Hailiang Ye[8] 采用了一種更為密集的級聯寬度學習系統（命名為DCBLS），並通過實驗將其應用於圖像去噪領域。此外，作者還在[8]中提出了一種便於處理大規模數據的並行計算方法以及一種自適應確定正則化參數的方法。此模型具體結構參見本文4.1
在圖像識別中，數據的幾何信息通常能起到重要的作用。原始的BLS中，模型權重可以通過簡單的偽逆運算得到，但是數據的幾何結構信息無法被利用。為了克服這個一缺點，Junwei JIN [9]提出了圖正則化寬度學習系統（GBLS），它將流形學習結合到BLS的優化過程中以限制輸出權重。作者將GBLS應用於圖像識別，實驗證明，這一方法提高了寬度學習系統的分類能力。
Liang Zhang等人在[7]中嘗試通過語義特征（SF）提取的方法將BLS應用於圖像識別。他們把通過HOG和LBP方法提取出的圖像語義特征作為BLS的輸入，使用SF-BLS結構及其變體對圖像進行分類實驗。實驗結果表明在諸多變體中，CEBLS-dense結構具有最出色的性能。
Shuang Feng[10] 將TS模糊系統和寬度學習結合，把每個特征結點替換為單獨的TS模糊子系統，提出了一種可用於回歸和分類的模糊寬度學習系統。實驗結果表明該方法由於當前的其他模糊模型。文中所采用的結構參見本文4.2
4.1 DCBLS [8]
Deep Cascade BLS采取了更為密集結構進行級聯，使對原始數據的信息提取更為充分，這種結構已經被實驗證明可以在圖像去噪領域取得不錯的成效果。
4.2 Fuzzy BLS [10]
模糊BLS用一組TS模糊子系統代替BLS的特征節點，並且輸入數據由它們各自處理。為了保留輸入特性，每個模糊子系統產生的模糊規則的輸出並未被立即匯總為一個值，而是全部被發送到增強層以進行進一步的非線性變換。將所有模糊子系統的去模糊化輸出和增強層的輸出組合在一起，獲得最終的模型輸出。
REFERENCE
[1] Y .-H. Pao and Y . Takefuji, “Functional-link net computing: Theory,system architecture, and functionalities,”Computer, vol. 25, no. 5,pp. 76–79, May 1992.
[2] Y .-H. Pao, G.-H. Park, and D. J. Sobajic, “Learning and generalization characteristics of the random vector functional-link net,” Neurocomputing, vol. 6, no. 2, pp. 163–180, 1994.
[3] B.Igelnik and Y.-H. Pao,”Stochastic choice of basis functions in adaptive function approximation and the functional-link net,” IEEE Trans. Neural Netw., vol. 6, no. 6, pp. 1320 –1329, Nov. 1995.
[4] Chen, C. L. Philip; Liu, Zhulin (2017). Broad Learning System: An Effective and Efficient Incremental Learning System Without the Need for Deep Architecture. IEEE Transactions on Neural Networks and Learning Systems, (), 1–15.
[5] C. L. P. Chen, Z. Liu and S. Feng, "Universal Approximation Capability of Broad Learning System and Its Structural Variations," in IEEE Transactions on Neural Networks and Learning Systems, vol. 30, no. 4, pp. 1191-1204, April 2019
[6] Z. Liu, C. L. P. Chen, S. Feng, Q. Feng and T. Zhang, "Stacked Broad Learning System: From Incremental Flatted Structure to Deep Model," in IEEE Transactions on Systems, Man, and Cybernetics: Systems, vol. 51, no. 1, pp. 209-222, Jan. 2021
[7] L. Zhang et al., "Analysis and Variants of Broad Learning System," in IEEE Transactions on Systems, Man, and Cybernetics: Systems, doi: 10.1109/TSMC.2020.2995205.
[8] H. Ye, H. Li and C. L. P. Chen, "Adaptive Deep Cascade Broad Learning System and Its Application in Image Denoising," in IEEE Transactions on Cybernetics
[9] Jin, J., Liu, Z. & Chen, C.L.P. Discriminative graph regularized broad learning system for image recognition. Sci. China Inf. Sci. 61, 112209 (2018).
[10] S. Feng and C. L. P. Chen, "Fuzzy Broad Learning System: A Novel Neuro-Fuzzy Model for Regression and Classification," in IEEE Transactions on Cybernetics, vol. 50, no. 2, pp. 414-424, Feb. 2020, doi: 10.1109/TCYB.2018.2857815.
————————————————
版權聲明：本文為CSDN博主「道骨。」的原創文章，遵循CC 4.0 BY-SA版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/qq_41154003/article/details/114044148