【CS231N】3、Softmax分类器

wiki百科：softmax函数的本质就是将一个K维的任意实数向量压缩（映射）成另一个K维的实数向量，其中向量中的每个元素取值都介于（0，1）之间。

一、疑问

二、知识点

1. softmax函数公式的意义

在softmax函数，输入向量z的值有正有负，正数表示对应的特征对分类结果是积极的，负数则表示是消极的。因此，在softmax函数中，要先计算(e^z), 目的是为了把所有的输入先处理到大于0的空间内，比如负数经过计算后会得到很接近0的数，因此归一化后，对应的概率也接近于0，这就很好得体现了softmax函数的思想——值大的对应概率大，值小的对应概率小。

2. softmax回归与logistic回归

softmax回归，处理多分类问题；logisitc回归，处理二分类问题；
softmax回归可以推导出和二元分类logistic回归一致的公式；多个logistic回归通过叠加也同样可以实现多分类的效果；
softmax回归进行的多分类，类与类之间是互斥的，即一个输入只能被归为一类：

这一选择取决于你的类别之间是否互斥，例如，如果你有四个类别的音乐，分别为：古典音乐、乡村音乐、摇滚乐和爵士乐，那么你可以假设每个训练样本只会被打上一个标签（即：一首歌只能属于这四种音乐类型的其中一种），此时你应该使用类别数 k = 4 的softmax回归。（如果在你的数据集中，有的歌曲不属于以上四类的其中任何一类，那么你可以添加一个“其他类”，并将类别数 k 设为5。）
多个logistic回归进行多分类，输出的类别并不是互斥的，即"苹果"这个词语既属于"水果"类也属于"3C"类别：

如果你的四个类别如下：人声音乐、舞曲、影视原声、流行歌曲，那么这些类别之间并不是互斥的。例如：一首歌曲可以来源于影视原声，同时也包含人声。这种情况下，使用4个二分类的logistic回归分类器更为合适。这样，对于每个新的音乐作品，我们的算法可以分别判断它是否属于各个类别。

3. 交叉熵损失

从概率论的角度出发，最小化正确分类的负对数概率，等同于进行最大似然估计。

4. 数值稳定问题

编程实现softmax函数计算的时候，中间项 $e^{f_{y_i}}$ 和 $sum_j e^{f_j}$ 因为存在指数函数，所以数值可能非常大。除以大数值可能导致数值计算的不稳定，所以要使用归一化技巧——在分式的分子和分母都乘以一个常数 $C$ ，并把它变换到求和之中，就能得到一个从数学上等价的公式：

$frac{e{f_{y_i}}}{sum_je{f_j}}=frac{Ce{f_{y_i}}}{Csum_je{f_j}}=frac{e{f_{y_i}+logC}}{sum_je{f_j+logC}}$

$C$ 的值可自由选择，不会影响计算结果，通过使用这个技巧可以提高计算中的数值稳定性。通常将 $C$ 设为 $logC=-max_jf_j$ 。该技巧简单地说，就是应该将向量 $f$ 中的数值进行平移，使得最大值为0。