logistic回归模型

logistic回归边界形式为：

           θ₀+θ₁x₁+θ₂x₂+...+θ_dx_d=∑θ_ix_{i =}θ^Tx 其中i=0,1,2,,,d(d为特征数）

分类预测函数为：

           h_θ(x)=1/(1+exp(-θ^Tx)

h_θ(x)表示类别为1的概率，可以得到如下：

           P(y=1|x)=h_θ(x）-------1

           P(y=0|x)=1-h_θ(x)--------2

下面构造评估函数：

1和2式可以联立为   P(y|x)=(h_θ(x))^y(1-h_θ(x))^(1-y)

似然函数L(θ):

          L(θ)=∏_{i=1 to m} P(y⁽ⁱ⁾|x⁽ⁱ⁾，θ）

                =∏_{i=1 to m} h_θ(x⁽ⁱ⁾)^y(i)(1-h_θ(x⁽ⁱ⁾))^1-y(i)

对数似然函数：

           L(θ)=∑_{i=1 to m}(y⁽ⁱ⁾logh_θ(x⁽ⁱ⁾)+(1-y⁽ⁱ⁾)log(1-h_θ(x⁽ⁱ⁾))-------3

梯度上升求L(θ)的解：

        θ_j=θ_j+α∂L(θ)/∂θ_j

由3求得θ的偏导数为：

         ∂L(θ)/∂θ_j=∑_{i=1 to m}(h_θ(x(i)-y(i))x_j⁽ⁱ⁾

故得到：

        θ_j=θ_j+α∑_{i=1 to m}(h_θ(x(i)-y(i))x_j⁽ⁱ⁾