Softmax Regression与Logistic回归

一、Softmax Regression简介

        Softmax Regression是Logistic回归的推广，Logistic回归是处理二分类问题的，而Softmax Regression是处理多分类问题的。Logistic回归是处理二分类问题的比较好的算法，具有很多的应用场合，如广告计算等。Logistic回归利用的是后验概率最大化的方式去计算权重。

二、Logistic回归的回顾

    在Logistic回归中比较重要的有两个公式，一个是阶跃函数：

另一个是对应的损失函数

最终，Logistic回归需要求出的是两个概率：和。具体的Logistic回归的过程可参见“简单易学的机器学习算法——Logistic回归”。

三、Logistic回归的推广——Softmax Regression

    在Logistic回归需要求解的是两个概率：和，而在Softmax Regression中将不是两个概率，而是个概率，表示的是分类的个数。我们需要求出以下的概率值：

此时的损失函数为

其中是一个指示性函数，意思是大括号里的值为真时，该函数的结果为1，否则为0。下面就这几个公式做个解释：

1、损失函数的由来

   概率函数可以表示为

其似然函数为

似然为

我们要最大化似然函数，即求。再转化成损失函数。

2、对 似然(或者是损失函数)求偏导

   为了简单，我们仅取一个样本，则可简单表示为

下面对求偏导：

其中，表示第维。如Logistic回归中一样，可以使用基于梯度的方法来求解这样的最大化问题。基于梯度的方法可以参见“优化算法——梯度下降法”。