线性回归

介绍

为了防止过度拟合，正则化是一种不错的思路。能够使得获得的边界函数更加平滑。更好的模拟现实数据，而非训练样本。

可以说，regularization是添加惩罚，使得参数 $\Theta _{j}$ 接近于零，这里1<=j<=n，也即不对 $\Theta _{0}$ 进行regularization。

正规化后的代价函数 $J(\Theta )=\frac{1}{2m}[\sum_{i=1}^{m}(H_{\Theta }(x^{i})-y^{i})^{2}+\lambda \sum_{j=1}^{n}\Theta _{j}^{2}]$ 。则该代价函数梯度见图一中（1-1）。

对于使用梯度下降算法，其梯度的矢量表达见图一中（1-2）。

对于线性回归的正规方程推导过程见图一

同样的，逻辑回归同样需要加入惩罚项。

则逻辑回归的代价函数为

逻辑回归的梯度为

令 $\Theta 1$ =[0; $\Theta$ (2:n)]则

其矢量表达为: $\frac{\partial J(\Theta )}{\partial \Theta }=X^{T}(\frac{1}{1+e^{-X\Theta }}-y)+\frac{\lambda}{m}\Theta 1$ 。

逻辑回归部分matlab实现见网盘http://pan.baidu.com/s/1kT1Tvqn