转载请注明出处:http://www.cnblogs.com/Peyton-Li/
逻辑回归名字听起来像是做处理回归问题的,其实不然,逻辑回归是分类模型,可以被看作是一个非常小的神经网络。
二项逻辑回归模型是如下的条件概率分布:
这里,是输入,是输出, 和是参数,称为权值向量,称为偏置,为和的内积。
对于给定的输入实例,按照上面两式可以求得和,逻辑回归模型比较两个条件概率值的大小,将实例分到概率值较大的那一类。
有时为了方便,将权值向量和输入向量加以扩充,仍记作,,即
这时,逻辑回归模型如下:
我们一般使用极大似然估计法估计模型参数,
似然函数为:
对数似然函数为:
对求最大值,得到的估计值。
逻辑回归学习中,通常采用的方法是梯度下降法和拟牛顿法。
假设的极大似然估计值是,那么学到的逻辑回归模型为:
假设离散型随机变量Y的取值集合为,那么多项逻辑回归模型是:
这里,