按部就班的吴恩达机器学习网课用于讨论(4)

学习率

认为尝试0.001以3倍网上增加算,进行测试。并让误差函数J的值越来越小才是正确的。

误差越来越大,可能是学习率过大造成,学习率太小可能导致梯度下降慢。

特征和多项式回归

线性回归不适合所有数据,有时候需要一些实际操作,如在房价问题中:

认为临街宽度,纵向深度作为特征,价格作为标签。但是在真正构建模型的过程中,面积才是实质上和价格挂钩,构建宽度和深度作为参数,不如使用面积作为参数的效果好。

在监督的学习系统中进行的回归拟合,过程中只有一个面积参数,但是不同次数的函数式子,最后能够训练出的拟合效果也有差异。

该上图中,可以直观的看出,不少其他次方的函数进行拟合以后,比一次函数要好。

正规方程

 在如上的图中,m行数据,每行数据是一个条目,认为theta是特征feature n为5的一列数据。那么整个等式认为X * theta = Y

矩阵变化后的误差,可能由MSE(均方差)变为了SE(方差),其它不变,可以计算逆矩阵获得theta的值。

在计算过程中,矩阵求逆可能失败的原因至少有两点可以参考:

  1. 在该模型中的特征feature n中,存在相互关联的特征属性,导致特征之间存在恒等关系。
  2. 特征数量大于了数据条目。导致了求解参数theta的多解?

正规方程与梯度下降的参数求法的取舍

 

Octave说明

完全使用matlab

https://www.cnblogs.com/bai2018/p/10802800.html

 

 

 

 

等等 

原文地址:https://www.cnblogs.com/bai2018/p/12526607.html