LMS(least mean squares) 最小均方法
对于每一个训练样例<b , Vtrain(b)>
1、使用当前的权计算V'(b)
2、对每一个权值wi进行如下更新
wi <- wi + η(Vtrain(b) - V'(b)) xi
这里η是一个小的常数(比如0.1)，用来调整权值更新的幅度。为了直观的理解这个更新法则的工作原理，请注意，当误差(Vtrain(b) - V'(b))w为0时，权不会被改变。当(Vtrain(b) - V'(b))为正时，说明V'(b)太低，每一个权值会根据其对应的特征值(xi)增加一定的比例，从而会提升V'(b)的值而减小误差。反之为负同理。
在一定条件下，这种简单的权值调整方法被证明可以收敛到Vtrain值的最小误差平方逼近.