机器学习--回归

一、说在前面

今天学习的是有监督学习的回归案例,通过已有的数据集进行计算,生成回归函数,以对未来的数据进行预测。

二、笔记

NumPy 矩阵求逆函数

numpy.linalg 模块包含线性代数的函数,可计算逆矩阵、求特征值、解线性方程组以及求解行列式等。

行列式:np.linalg.det(A)    (判断是否存在逆矩阵)
计算逆矩阵:np.linalg.inv(A)

回归如今指的用一个或多个自变量来预测因变量的数学方法。
在机器学习中,回归指的是一类预测变量为连续值的有监督学习学习方法

在回归模型中,需要预测的变量叫做因变量,用来解释因变量变化的变量叫做自变量。

一元线性回归

多元线性回归(寻找一个超平面,使得训练集中样本到超平面的误差平方和最小)
    多元线性回归的矩阵表示
        假设训练集的特征部分即为n*(d+1)矩阵X,其中最后一列取值权威1
        标签部分即为y=y(y1,y2,...yn)T,参数即为w=(w1,w2,...wd,w0)T


多项式回归:使用原始特征的二次项、三次项
    线性回归解决非线性问题
    问题:维度灾难、过度拟合

岭回归
    思路:线性回归目标函数加上对w的惩罚函数

三、总结

四、心得体会

今天跟着老师在案例里面进行了相关的操作,不过都是一些照葫芦画瓢的输入,对其核心的算法还不是很了解。不过也有收获,发现了很多现成包装好的方法函数,根据要求输入相应的参数就会得到相应的返回。

原文地址:https://www.cnblogs.com/suanai/p/14336174.html