寬度學習系統(Broad Learning System, BLS)
作者：凱魯嘎吉 - 博客園 http://www.cnblogs.com/kailugaji/
寬度學習系統(Broad Learning System, BLS)由Chen等[1]提出，其基於“平展型”神經網絡，因其高效性、結構靈活、且可以實現結構增量式學習等優勢，引起了廣泛的研究興趣。該博客主要講解BLS的大致原理與推導過程。
主要包括：
- 基礎知識：奇異值分解（SVD），激活函數，普通方陣求逆(H可逆)，求偽逆，嶺回歸與偽逆的近似，稀疏自編碼器（Sparse Auto Encoder），以及Greville定理，其中Greville定理用於增量學習，分塊矩陣求偽逆，詳細推導請參考[3][4]與博客第四部分。
- 寬度學習系統(Broad Learning System, BLS)：寬度學習系統的增量學習總體框架、增加額外的增強節點、增加額外的特征映射節點、增加額外的輸入數據。
- 寬度學習系統(BLS)與極限學習機(ELM)的區別與聯系。
1. 基礎知識
2. 寬度學習系統(Broad Learning System, BLS)
3. 寬度學習系統(BLS)與極限學習機(ELM)、隨機向量函數鏈網絡(Random Vector Functional-Link Network, RVFLNN)的區別與聯系
4. 關於Greville方法的參考
計算A的偽逆的Greville方法是一種有限迭代法，它在已知矩陣的前k列所構成子矩陣的廣義逆矩陣基礎上，來構造前k+1列所構成子矩陣的廣義逆矩陣。因此，若矩陣A有n列，則經過n步就可得到A的偽逆。本節參考[3]。
5. 參考文獻
[1] C. L. P. Chen and Z. Liu, "Broad Learning System: An Effective and Efficient Incremental Learning System Without the Need for Deep Architecture," in IEEE Transactions on Neural Networks and Learning Systems, vol. 29, no. 1, pp. 10-24, Jan. 2018, doi: 10.1109/TNNLS.2017.2716952.
[2] Broad Learning System https://broadlearning.ai/
[3] 程雲鵬, 張凱院, 徐仲. 高等學校教材 矩陣論[M]. 西北工業大學出版社, 1989.
[4] 王松桂. 廣義逆矩陣及其應用[M]. 北京工業大學出版社, 1996.
[5] Extreme Learning Machine - 凱魯嘎吉 - 博客園
[6] 字典更新與K-SVD 之矩陣的奇異值分解(SVD) - 凱魯嘎吉 - 博客園
[7] 澳門大學陳俊龍 | 寬度學習系統：一種不需要深度結構的高效增量學習系統 - 雲基智能機器人實驗室
[8] 圖Lasso求逆協方差矩陣(Graphical Lasso for inverse covariance matrix) 之近端梯度下降(Proximal Gradient Descent, PGD) - 凱魯嘎吉 - 博客園