线性回归学习历程

今天看到Peter Harrington的机器学习实战里面关于线性回归的计算，直接被标准回归函数的结论公式给震惊到了，于是搜了一下推导过程

本文参考这个链接，非常感谢分享！

简单线性回归中，Y=Xθ+b，需要拟合θ和b，来预测Y^hat

但这个θ是一个n×1维的矩阵，X是m×n维的矩阵：

如何推导并求出最优的θ呢？

先构建预测函数

那么代价函数为

也可以化为：

展开后：

接下来对J(θ)求导，不过在此之前需要准备一些矩阵求导预备定理：

正式开始求导：

最后解得θ

这也就是Peter Harrington的机器学习实战第8章 预测数值型数据 回归里面没有推导的ω^hat = (X^TX)^-1X^TY的由来！