Softmax函数与交叉熵

在Logistic regression二分类问题中，我们可以使用sigmoid函数将输入Wx+b映射到(0,1)区间中，从而得到属于某个类别的概率。将这个问题进行泛化，推广到多分类问题中，我们可以使用softmax函数，对输出的值归一化为概率值

这里假设在进入softmax函数之前，已经有模型输出C值，其中C是要预测的类别数，模型可以是全连接网络的输出aa，其输出个数为C，即输出为： $a_{1}, a_{2}, ..., a_{C}$

所以对每个样本，它属于类别i的概率为：

$y_{i} = frac{e^{a_i}}{sum_{k=1}^{C}e^{a_k}} forall i in 1...C$

通过上式可以保证 $sum_{i=1}^{C}y_i = 1$ ，即属于各个类别的概率和为1

对softmax函数进行求导，即求： $frac{partial{y_{i}}}{partial{a_{j}}}$ ，第i项的输出对第j项输入的偏导。代入softmax函数表达式，可以得到：

$frac{partial{y_{i}}}{partial{a_{j}}} = frac{partial{ frac{e^{a_i}}{sum_{k=1}^{C}e^{a_k}} }}{partial{a_{j}}}$

求导规则：对于 $f(x) = frac{g(x)}{h(x)}$ ，导数为：

$f'(x) = frac{g'(x)h(x) - g(x)h'(x)}{[h(x)]^2}$

所以在我们这个例子中，

$g(x) = e^{a_i} \ h(x) = sum_{k=1}^{C}e^{a_k}$

上面两个式子只是代表直接进行替换，而非真的等式。 $e^{a_i}$ ，（即g(x)= $g(a_j)$ 对 $a_j$ 进行求导)，要分情况讨论：

如果i=j，则求导结果为 $e^{a_i}$
如果i≠j，则求导结果为0

再来看 $sum_{k=1}^{C}e^{a_k}$ 对 $a_j$ 求导，结果为 $e^{a_j}$

所以，当i=j时：(其中，为了方便，令 $Sigma = sum_{k=1}^{C}e^{a_k}$ )

$frac{partial{y_{i}}}{partial{a_{j}}} = frac{partial{ frac{e^{a_i}}{sum_{k=1}^{C}e^{a_k}} }}{partial{a_{j}}} = frac{ e^{a_i}Sigma - e^{a_i}e^{a_j}}{Sigma^2} =frac{e^{a_i}}{Sigma}frac{Sigma - e^{a_j}}{Sigma} =y_i(1 - y_j)$

当i≠j时：

$frac{partial{y_{i}}}{partial{a_{j}}} = frac{partial{ frac{e^{a_i}}{sum_{k=1}^{C}e^{a_k}} }}{partial{a_{j}}} = frac{ 0 - e^{a_i}e^{a_j}}{Sigma^2} =-frac{e^{a_i}}{Sigma}frac{e^{a_j}}{Sigma} =-y_iy_j$

标红下，这俩公式很重要：