宽度学习系统(Broad Learning System, BLS)

宽度学习系统(Broad Learning System, BLS)

作者：凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/

宽度学习系统(Broad Learning System, BLS)由Chen等[1]提出，其基于“平展型”神经网络，因其高效性、结构灵活、且可以实现结构增量式学习等优势，引起了广泛的研究兴趣。该博客主要讲解BLS的大致原理与推导过程。

主要包括：

1. 基础知识：奇异值分解（SVD），激活函数，普通方阵求逆(H可逆)，求伪逆，岭回归与伪逆的近似，稀疏自编码器（Sparse Auto Encoder），以及Greville定理，其中Greville定理用于增量学习，分块矩阵求伪逆，详细推导请参考[3][4]与博客第四部分。
2. 宽度学习系统(Broad Learning System, BLS)：宽度学习系统的增量学习总体框架、增加额外的增强节点、增加额外的特征映射节点、增加额外的输入数据。
3. 宽度学习系统(BLS)与极限学习机(ELM)的区别与联系。

1. 基础知识

2. 宽度学习系统(Broad Learning System, BLS)

3. 宽度学习系统(BLS)与极限学习机(ELM)的区别与联系

4. 关于Greville方法的参考

计算A的伪逆的Greville方法是一种有限迭代法，它在已知矩阵的前k列所构成子矩阵的广义逆矩阵基础上，来构造前k+1列所构成子矩阵的广义逆矩阵。因此，若矩阵A有n列，则经过n步就可得到A的伪逆。本节参考[3]。

5. 参考文献

[1] C. L. P. Chen and Z. Liu, "Broad Learning System: An Effective and Efficient Incremental Learning System Without the Need for Deep Architecture," in IEEE Transactions on Neural Networks and Learning Systems, vol. 29, no. 1, pp. 10-24, Jan. 2018, doi: 10.1109/TNNLS.2017.2716952.

[2] Broad Learning System https://broadlearning.ai/

[3] 程云鹏, 张凯院, 徐仲. 高等学校教材 矩阵论[M]. 西北工业大学出版社, 1989.

[4] 王松桂. 广义逆矩阵及其应用[M]. 北京工业大学出版社, 1996.

[5] Extreme Learning Machine - 凯鲁嘎吉 - 博客园 

[6] 字典更新与K-SVD 之矩阵的奇异值分解(SVD) - 凯鲁嘎吉 - 博客园

[7] 澳门大学陈俊龙 | 宽度学习系统：一种不需要深度结构的高效增量学习系统 - 云基智能机器人实验室 

[8] 图Lasso求逆协方差矩阵(Graphical Lasso for inverse covariance matrix) 之近端梯度下降(Proximal Gradient Descent, PGD) - 凯鲁嘎吉 - 博客园