- 形式:
採用sigmoid函数:g(z)=11+e−z
其导数为g′(z)=(1−g(z))g(z)
如果:
即:
若有m个样本,则似然函数形式是:
对数形式:
採用梯度上升法求其最大值
求导:
更新规则为:
能够发现,则个规则形式上和LMS更新规则是一样的。然而,他们的分界函数hθ(x) 却全然不同样了(逻辑回归中h(x)是非线性函数)。关于这部分内容在GLM部分解释。
注意:若h(x)不是sigmoid函数而是阈值函数:
这个算法称为感知学习算法。尽管得到更新准则尽管类似。但与逻辑回归全然不是一个算法了。 - 还有一种最大化似然函数的方法–牛顿逼近法
- 原理:如果我们想得到一个函数的过零点
f(θ)=0 ,能够通过一下方法不断更新θ 来得到:
其直观解释例如以下图:
给定一个初始点θ0 ,如果f(θ0) 和其导数同号说明过零点在初始点左边。否则在初始点右边,将初始点更新过该店的切线的过零点继续上述步骤,得到的切线过零点会不断逼近终于所要求的函数过零点。 - 应用: 在逻辑回归中。我们要求似然函数的最大(最小)值。即似然函数导数为0。 因此能够利用牛顿逼近法:
因为lr算法中θ 是一个向量,上式改写为:
当中H为Hessian矩阵:
牛顿法往往比(批处理)梯度下降法更快收敛。
- 原理:如果我们想得到一个函数的过零点