TensorFlow2_200729系列---28、梯度消失和梯度爆炸是什么(杂)

TensorFlow2_200729系列---28、梯度消失和梯度爆炸是什么(杂)

一、总结

一句话总结:

对于多层的神经网络,当由后向前传播时,因为本来就有误差,传到某一层的时候,要么梯度不更新(梯度消失),要么梯度特别大(梯度爆炸),这两种情况都不能很好的更新网络

1、[784,w,h,b]中的b一般表示什么意思?

b表示batch,比如一个batch有多张图片,如果是分10类的话,那么输出可以写成[10,b]

二、内容在总结中

博客对应课程的视频位置:

 
我的旨在学过的东西不再忘记(主要使用艾宾浩斯遗忘曲线算法及其它智能学习复习算法)的偏公益性质的完全免费的编程视频学习网站: fanrenyi.com;有各种前端、后端、算法、大数据、人工智能等课程。
博主25岁,前端后端算法大数据人工智能都有兴趣。
大家有啥都可以加博主联系方式(qq404006308,微信fan404006308)互相交流。工作、生活、心境,可以互相启迪。
聊技术,交朋友,修心境,qq404006308,微信fan404006308
26岁,真心找女朋友,非诚勿扰,微信fan404006308,qq404006308
人工智能群:939687837

作者相关推荐

原文地址:https://www.cnblogs.com/Renyi-Fan/p/13491084.html