第二章 分类和逻辑回归

分类和逻辑回归

接下来讨论分类问题，类似于回归问题，只不过y的值只有少数离散的值。现在我们考虑二分类问题，此时y只有0和1两个值。

逻辑回归

构造假设函数$h_{ heta}(x)$:

$h_{ heta}(x)=g( heta^{(x)})=frac{1}{1+e^{- heta^{T}x}}$

其中

$g(z)=frac{1}{1+e^{-z}}$

$g^{'}(z)=g(z)(1-g(z))$

$g(z)$函数图像如下：

$g^{'}(z)$函数图像如下：

假设：

$P(y=1mid x; heta) = h_{ heta}(x)$

$P(y=0mid x; heta) = 1- h_{ heta}(x)$

等价于：

$P(y mid x; heta) = (h_{ heta}(x))^{y}(1- h_{ heta}(x))^{1-y}$

y取0或1

假设有m个训练样本，可以写出参数的概率公式：

$L( heta) = p(vec{y} mid X; heta)$

$L( heta) =  prod_{i=1}^{m}p(y^{(i)}mid x^{(i)}; heta)$

$L( heta) =  prod_{i=1}^{m}  (h_{ heta}(x^{(i)}))^{y^{(i)}}(1- h_{ heta}(x^{(i)}))^{1-y^{(i)}} $

为了便于求解，先取对数：

$iota( heta) = logL( heta)$

$iota( heta) = sum_{i=1}^{m}y^{(i)}logh(x^{(i)}) + (1-y^{i()})log(1-h(x^{(i)}))$

单一训练样本下，求解梯度：

$frac{partial }{partial   heta_{j}}iota( heta) = (-h_{ heta}^{x})x_{j}$

因此，随机梯度下降法有：

$ heta_{j} := heta_{j} + alpha (y^{(i)} - h_{ heta}(x^{(i)}))x_{j}^{(i)}$

上式跟LMS更新规则很像，当学了GLM模型后便知原因。