最小二乘法和线性回归

我们知道,在做数学题的时候,解未知数的方法,是给定自变量和函数,通过函数处理自变量,以获得解。而机器学习就相当于,给定自变量和函数的解,求函数。类似于:这样:function(x)=y

机器学习就是样本中有大量的x(特征量)和y(目标变量)然后求这个function。

求函数的方法,基于理论上来说,大部分函数都能找到一个近似的泰勒展开式。而机器学习,就是用数据去拟合这个所谓的“近似的泰勒展开式”。

利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小

为什么使用差的平方和:

(1)用“残差和最小”确定直线位置是一个途径。但可能会出现计算“残差和”存在相互抵消的问题。
        (2)用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。
        (3)最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外,得到的估计量还具有优良特性。这种方法对异常值非常敏感。

多元线性拟合的推导:

https://www.cnblogs.com/wangkundentisy/p/7505487.html

原文地址:https://www.cnblogs.com/ymjyqsx/p/9476119.html