交叉熵损失函数小结

交叉熵损失函数小结

一、总结

一句话总结:

交叉熵刻画的是实际输出(概率)与期望输出(概率)的距离,也就是交叉熵的值越小,两个概率分布就越接近。

1、交叉熵损失函数和平方差损失函数的区别?

[①]、平方差所惩罚的是与损失为同一数量级的情形
[②]、分类问题用交叉熵损失函数,因为分类问题是概率:对于分类问题,我们最好的使用交叉熵损失函数会更有效
[③]、更大损失,更快收敛:交叉熵会输出一个更大的"损失"

2、交叉熵损失函数相比平方差损失函数的优点?

|||-begin

在图像分割中,两个损失函数都可以用,为什么通常少见将平方差作为损失函数,而要用交叉熵损失。

|||-end

[1]、在激活函数是sigmoid之类的函数的时候,用平方损失的话会导致误差比较小的时候梯度很小,
[2]、这样就没法继续训练了,这时使用交叉熵损失就可以避免这种衰退。
[3]、如果是线性输出或别的激活函数神经元的话完全可以用平方损失。

二、交叉熵损失函数小结

博客对应课程的视频位置:

线性回归预测的是一个连续值
逻辑回归给出的“是”和“否”的回答
sigmoid函数是一个概率分布函数,给定某个输入,它将输出为一个概率值


--逻辑回归损失函数
平方差所惩罚的是与损失为同一数量级的情形
对于分类问题,我们最好的使用交叉熵损失函数会更有效
交叉熵会输出一个更大的"损失"


--交叉熵损失函数
交叉熵刻画的是实际输出(概率)与期望输出(概率)的距离,也就是交叉熵的值越小,两个概率分布就越接近。
假设概率分布p为期望输出,概率分布q为实际输出,H(p,q)为交叉熵,则:


--keras交叉熵

在keras里,我们使用binary_crossentropy 来计算二元交叉熵。


 
我的旨在学过的东西不再忘记(主要使用艾宾浩斯遗忘曲线算法及其它智能学习复习算法)的偏公益性质的完全免费的编程视频学习网站: fanrenyi.com;有各种前端、后端、算法、大数据、人工智能等课程。
博主25岁,前端后端算法大数据人工智能都有兴趣。
大家有啥都可以加博主联系方式(qq404006308,微信fan404006308)互相交流。工作、生活、心境,可以互相启迪。
聊技术,交朋友,修心境,qq404006308,微信fan404006308
26岁,真心找女朋友,非诚勿扰,微信fan404006308,qq404006308
人工智能群:939687837

作者相关推荐

原文地址:https://www.cnblogs.com/Renyi-Fan/p/13672402.html