logistic回归模型

二项logistic回归模型符合如下概率分布:

其中wx表示w和x的内积

上式同样也可以表示为:

其中p=P(Y=1|x)

二分类数据集(x1,y1),(x2,y2),....(xn,yn)   

将设p=P(Y=1|x)=π(x),则1-p=P(Y=0|x)=1-π(x)

那么观测值的概率发生概率同样能表示为:

因此似然函数可以表示为

对上式取对数后可以得到:

通过对L(w)求极大似然估计,得到w的估计值,通常在logistic回归中采用的是梯度下降法及拟牛顿法。

相同的,多项logistic回归用于多分类,离散型随机变量Y取值集合为{1,2,...,K},表达式如下:

原文地址:https://www.cnblogs.com/xiaochouk/p/7995562.html