从线性回归到logistic回归到一般回归

参考资料：http://www.cnblogs.com/jerrylead/archive/2011/03/05/1971867.html

回归：属于监督学习，由已有的(x,y)学习得到模型，根据输入的x判断y值

线性回归：最简单

估计函数 ${h_ heta }(x) = { heta ^T}X$

损失函数(loss function)

$J( heta ) = frac{1}{2}{sumlimits_i {({h_ heta }({x^{(i)}}) - {y^{(i)}})} ^2}$

$[mathop {min }limits_ heta J( heta )]$

损失函数采用估计函数值和观测值的差值的平方和，乘以1/2. 这个系数是为了求导时候刚好消掉

为什么选择平方和作为loss function？

一般假设 ${Y^{(i)}} = { heta ^T}{X^{(i)}} + {varepsilon ^{(i)}}$ ，而 ${varepsilon ^{(i)}}$ 服从正态分布，因此

$p({y^{(i)}}|{x^{(i)}}; heta ) = exp ( - frac{{{{({y^{(i)}} - { heta ^T}{x^{(i)}})}^2}}}{{2{sigma ^2}}})$

因此loss function采用平方和的形式

参数估计的方法：最小二乘法，梯度下降法（批量，增量）

1. 最小二乘法

矩阵描述：把每个X当做一列，拼成矩阵X，仍然有 ${ heta ^T}X = Y$ 。theta的矩阵描述是 $heta = {({X^T}X)^{ - 1}}{X^T}mathop Ylimits^ o$

采用了X的广义逆矩阵。前提是要求X是列满秩的。该方法的一个缺点是计算量大，求逆矩阵速度慢。

2. 梯度下降法

1）选取theta的初始值（有一定技巧，对最后结果有影响）

2）改变theta的值，按照梯度下降的方向减小

梯度下降的方向是梯度的反方向

${ heta _j} = { heta _j} + alpha ({y^{(i)}} - {h_ heta }({x^{(i)}}))x_j^{(i)}$

扩展：带权重的线性回归（用于预测特定的预测点，属于非参数估计）

上述的误差函数权重都是1，也可以根据到目标预测点的距离赋予权重

${ heta _j} = { heta _j} + {omega ^{(i)}}alpha ({y^{(i)}} - {h_ heta }({x^{(i)}}))x_j^{(i)}$

其中 ${omega ^{(i)}} = exp ( - frac{{{{(x - {x^{(i)}})}^2}}}{{2{ au ^2}}})$

离目标点x越近的训练点的权重越大，影响越大

logistic回归

本质上仍是是线性回归。只是多了几个中间层：期望值，连接函数

解决问题：0/1分类

从自变量->结果的映射：无穷->0 OR 1

以属于某一类的概率p作为期望值进行分类。p的取值范围是[0,1]，通过转换 $lnfrac{p}{{1 - p}}$ 使得取值范围变为(负无穷，正无穷)

因此 $lnfrac{p}{{1 - p}} = { heta ^T}X$ 作为模型。