梯度下降 coursera.org

即使J(,)=0,也不能是完美估计,因为其他数据可能存在误差

 取任何颜色并沿着“圆”走,就可以得到相同的成本函数值,右图三个点的J(,)相同

 

越靠近圆心,J(,)越小

梯度下降算法可以将代价函数J()最小化 。
J(1,2)改变1,2来最小化J(1,2 梯度下降算法不一定可以找到全局最小值

 

事实证明用于线性回归的代价函数,总是下图所示的这样一个弓形的样子。 对于线性回归的代价函数是没有局部最优解的,只有全局最优解

 

 

 

 

 

 

 矩阵的维度:行数×列数

 

矩阵运算
矩阵和标量相加 : 矩阵里的每个 元素都要加上 这个标量 
将表达式转化为矩阵运算

 

矩阵乘法的一些特性:不满足交换率,但是满足结合律

关于逆矩阵的定义 我需要强调一点 首先 矩阵必须是方阵
转置矩阵:行列转置。第一行变为第一列,...,第M行变为第M列

原文地址:https://www.cnblogs.com/tingtin/p/11988521.html