LMS算法

一、感知器算法和LMS算法

  感知器和自适应线性元件在历史上几乎是同时提出的,并且两者在对权值的调整的算法非常相似。它们都是基于纠错学习规则的学习算法。

  感知器算法存在如下问题:不能推广到一般的前向网络中;函数不是线性可分时,得不出任何结果。

  而由美国斯坦福大学的Widrow和Hoff在研究自适应理论时提出的LMS算法,由于其容易实现而很快得到了广泛应用,成为自适应滤波的标准算法。

二、算法流程  

1、设置变量和参量:
  X(n)为输入向量,或称为训练样本
  W(n)为权值向量
  e(n)为偏差
  d(n)为期望输出
  y(n)为实际输出
  η为学习速率
  n为迭代次数
2、初始化,赋给w(0)各一个较小的随机非零值,令n=0
3、对于一组输入样本x(n)和对应的期望输出d,计算
  e(n)=d(n)-X(n)^W(n)
  W(n+1)=W(n)+ηX(n)e(n)
4、判断是否满足条件,若满足算法结束,若否n增加1,转入第3步继续执行。
原文地址:https://www.cnblogs.com/Wanggcong/p/4699646.html