逻辑斯蒂回归(Logistic Regression)

逻辑回归名字比较古怪,看上去是回归,却是一个简单的二分类模型。

逻辑回归的模型是如下形式:

其中x是features,θ是feature的权重,σ是sigmoid函数。将θ0视为θ0*x0(x0取值为常量1),那么

这里我们取阈值为0.5,那么二分类的判别公式为:

下面说一下参数θ的求解:

为啥子这样去损失函数呢?

当y=1的时候,显然hθ(x)越接近1我们的预测越靠谱;y=0时同理。所以应该在y=1时,使损失韩式-log(hθ(x))越小越好,y=0时,同样使损失函数-log(1-hθ(x))越小越好,即得上式

原文地址:https://www.cnblogs.com/xueyinzhe/p/7589009.html