【学习笔记】回归算法-岭回归

具有L2正则化的线性最小二乘法。岭回归是一种专用于线性数据分析的有偏估计回归方法,实质上是一种改良的最小二乘估计法,通过放弃最小二乘法的无偏性,以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法,对病态数据的拟合要强于最小二乘法。当数据集中存在共线性的时候,岭回归就会有用。

正则化程度的变化,对结果的影响:

sklearn.linear_model.Ridge(alpha=1.0)

  • 具有l2正则化的线性最小二乘法
  • alpha:正则化力度
  • coef_:回归系数

使用岭回归预测【学习笔记】回归算法-线性回归中的波斯顿房价的例子:

from sklearn.linear_model import Ridge
...
# 岭回归预测房价
rd = Ridge(alpha=1.0)
rd.fit(x_train, y_train)
print(rd.coef_)
y_rd_predict = std_y.inverse_transform(rd.predict(x_test))
print("岭回归预测的房子价格:", y_rd_predict)
print("岭回归的均方误差:", mean_squared_error(std_y.inverse_transform(y_test), y_rd_predict))

线性回归 LinearRegression与Ridge对比:岭回归:回归得到的回归系数更符合实际,更可靠。另外,能让估计参数的波动范围变小,变的更稳定。在存在病态数据偏多的研究中有较大的实用价值。

原文地址:https://www.cnblogs.com/zhangfengxian/p/10613545.html