Stochastic variance reduced multiplicative update for nonnegative matrix factorization

      非负矩阵分解(NMF)已在许多技术领域中流行。 NMF将两个非负矩阵W和H的乘积近似为一个非负矩阵V。V的非负性使我们能够很好地解释获得的矩阵W和H的含义。 这种解释在机器学习和信号处理(例如文本挖掘,图像处理和数据聚类)中产生了广泛的应用。

        由于MU规则伴随着缓慢收敛,随机梯度下降(SGD)[13]已成为解决大数据优化问题的首选方法。尽管由于每次迭代的低且恒定的成本(独立于N)是有益的,但即使在强凸情况下,SGD的收敛速度也比完整GD的收敛速度慢。对于此问题,最近提出的各种方差减少(VR)方法在凸函数和非凸函数中均实现了卓越的收敛速度。本文提出了一种采用VR技术的新型随机乘法更新的建议:SVRMU。

  先写到这  以后更新

原文地址:https://www.cnblogs.com/one-think/p/12506211.html