正规方程求解特征参数的推导过程

本文为Coursera上吴恩达的机器学习视频中未推导的一个公式,在此不对该公式由来进行解释,只附上本公式的推导过程,涉及许多线代知识。
本文转载自:https://blog.csdn.net/chenlin41204050/article/details/78220280

设有m个训练实例,每个实例有n个特征,则训练实例集为:
在这里插入图片描述
其中在这里插入图片描述表示第i个实例第j个特征。

特征参数为:
在这里插入图片描述
输出变量为:
在这里插入图片描述
故代价函数为:
在这里插入图片描述
进行求导,等价于如下的形式:
在这里插入图片描述
其中第一项:
在这里插入图片描述
第二项:
在这里插入图片描述
该矩阵求导为分母布局下的标量/向量形式:
故有,
在这里插入图片描述
第三项:
在这里插入图片描述
该矩阵求导为分母布局下的标量/向量形式:
故有:
在这里插入图片描述
第四项:
在这里插入图片描述
其中在这里插入图片描述为标量,可看成一个常数。
该矩阵求导为分母布局下的标量/向量形式:
故有:
在这里插入图片描述
综上,正规方程为:
在这里插入图片描述
最终可得特征参数的表示:
在这里插入图片描述

原文地址:https://www.cnblogs.com/yinyoupoet/p/13287410.html