TensorFlow2_200729系列---28、梯度消失和梯度爆炸是什么(杂)
一、总结
一句话总结:
对于多层的神经网络,当由后向前传播时,因为本来就有误差,传到某一层的时候,要么梯度不更新(梯度消失),要么梯度特别大(梯度爆炸),这两种情况都不能很好的更新网络
1、[784,w,h,b]中的b一般表示什么意思?
b表示batch,比如一个batch有多张图片,如果是分10类的话,那么输出可以写成[10,b]
二、内容在总结中
博客对应课程的视频位置:
博客对应课程的视频位置: