softmax

softmax

使用softmax的原因

以概率占比得到预测标签
标签值为离散值,离散值与输出值之间的误差无法界定

softmax的实现(指数实现)

分类的时候以概率值最高的序号(argmax)作为y_hat
损失函数(交叉熵损失函数)

交叉熵应用于分类的解析:

假设有q类,标签label为离散值k,表示该样本属于第k类,每个样本有一个数组y,每个样本只在y【k】上的值为1,其他为0
训练时对该样本经过softmax有q个概率预测输出值,但损失只采用第k个输出值计算损失

交叉熵的具体实现:

此处gather函数表示取每个样本y_hat数组索引为标签值y的概率值进行loss计算
》》具体gather函数请看 https://www.cnblogs.com/HongjianChen/p/9451526.html

分类准确率计算

注:此处的y值指的是标签值

原文地址:https://www.cnblogs.com/hiyuri/p/12410725.html