损失函数

目的:

根据标签值与预测值计算损失

  • 交叉熵
    (J = -sumlimits_{k}y_klog{h_k})
    信息熵可以用来表示信息的不确定程度
    相对熵(KL散度)可以用来描述两个概率分布之间的差异
    相对熵 = 交叉熵 - 信息熵
    在信息熵固定的情况下,优化减小交叉熵也就是优化相对熵
    又因为交叉熵比较简单,所以常用交叉熵表示损失函数
    https://zhuanlan.zhihu.com/p/70804197
-------------------------------------------------------------逆水行舟,不进则退。
原文地址:https://www.cnblogs.com/alilliam/p/11469460.html