logistic回归

啥是逻辑斯蒂回归呢

  先别管那没多,它就一种分类方法:

  我们先假设某个某个事件 E 发生的概率为p,那么该事件不发生的概率为1-p;

  接下来,我们说下几率:一个事件发生的概率与它不发生的概率之比就是几率:即 P/1-P

  那么我们知道如果事件E发生的概率越大,几率 P/1-P 越趋近于正无穷,否则趋近于0

  啥是对数几率呢,就是对几率P/1-P 取对数啊:ln(p/1-p)

  那么我们知道如果事件E发生的概率越大,对数几率 ln(p/1-p) 越趋近于正无穷,否则趋近于负无穷.。  

  我们可以让   ln(p/1-p)  逼近一个线性函数 y= wx+b     **************这个过程就是逻辑斯蒂回归了,也称对数几率回归 

  这时候 ln( p/ 1-p)  等价于  y= wx+b

问题来了,p等于多少:
  

  正好符合 ln( p/ 1-p) 等价于 y= wx+b

  所以我们可以求出w和b ,来预测一个事件发生的概率p,同时 我们假定当p>=某个值a,就认为它会发生。

  那么怎么算w和b两个参数呢?

     既然是概率当然少不了似然估计法

     接下来是似然函数:

               注意:这里的w是系数向量, 是各特征变量所组成的向量

       第一步取对数:

      

       第二步整理下这个式子

     

      这是个凸函数,有最大值,我们要通过梯度下降求最小值,所以在该式前面加个负号,即对偶式     , 对此式梯度下降

      第三步梯度下降求解;

     

     简化式子:

      

·················可能会出错,第一次推梯度下降,之前都没动过手,数学建模要用,临时推的。。。。

 

    

原文地址:https://www.cnblogs.com/z-bear/p/9531876.html