机器学习西瓜书白话解读笔记---0301-0308、线性回归
一、总结
一句话总结：
【亡羊补牢】：人的确是都会犯错，【亡羊补牢】最最重要，比如网络游戏
1、一元线性回归？
只有【一个属性】，即d=1；【w,b为单个的数】
一元线性回归目标函数：【最小二乘法】：$$( w ^ { * } , b ^ { * } ) = underset { ( w , b ) } { arg min } sum _ { i = 1 } ^ { m } ( f ( x _ { i } ) - y _ { i } ) ^ { 2 } = underset { ( w , b ) } { arg min } sum _ { i = 1 } ^ { m } ( y _ { i } - w x _ { i } - b ) ^ { 2 }$$
2、一元线性回归对w求偏导？
目标函数求解过程也称为线性回归模型的【对最小二乘“参数估计”】
对w求导：这个公式的推导非常简单，最小二乘法求偏导一步一步即可：$$frac { partial E _ { ( w , b ) } } { partial w } = 2 ( w sum _ { i = 1 } ^ { m } x _ { i } ^ { 2 } - sum _ { i = 1 } ^ { m } ( y _ { i } - b ) x _ { i } )$$
导数为0求得最优解：$$w = frac { sum _ { i = 1 } ^ { m } y _ { i } ( x _ { i } - overline { x } ) } { sum _ { i = 1 } ^ { m } x _ { i } ^ { 2 } - frac { 1 } { m } ( sum _ { i = 1 } ^ { m } x _ { i } ) ^ { 2 } }$$
3、一元线性回归对b求偏导？
对b求导：这个公式的推导非常简单，最小二乘法求偏导一步一步即可：$$frac { partial E _ { ( w , b ) } } { partial b } = 2 ( m b - sum _ { i = 1 } ^ { m } ( y _ { i } - w x _ { i } ) )$$
导数为0求得最优解：$$b = frac { 1 } { m } sum _ { i = 1 } ^ { m } ( y _ { i } - w x _ { i } )$$
二、内容在总结中
博客对应课程的视频位置：