逻辑回归推导

首先线性模型:

而logistic回归则通过函数L将w‘x+b对应一个隐状态p,p =L(w‘x+b),然后根据p 与1-p的大小决定因变量的值。如果L是logistic函数

而每一个观察到的样本(xi, yi)出现的概率是:

由于y的取值是(0,1),当y=1的时候,后面那一项是不是没有了,那就只剩下x属于1类的概率,当y=0的时候,第一项是不是没有了,

那就只剩下后面那个x属于0的概率(1减去x属于1的概率)。所以不管y是0还是1,上面得到的数,都是(x, y)出现的概率,所以:

 又因为,p =L(w‘x+b),即是logistic之后,而逻辑函数(即是sigmoid函数)又等于:

所以:(其实这里已经推导出来的逻辑回归表达式)

后面的是损失函数了

整合为似然函数为:

 对数似然函数为(log减就是除):前面少了log,最后面少了大括号]

令:

得到:

 而又有:

  代入对数似然函数  (L(w)少了log())  :

 也可以这样表达:

 这时候为求最大值,对L(θ)对θ求导,得到:

 求导太复杂了,就不求导了

逻辑回归的最终模型为:

 转换一下:

============================================================

这步我主要看求导部分,也就是求参数的最小值

 

原文地址:https://www.cnblogs.com/cgmcoding/p/13536280.html