深度神经网络反向传播算法

参考:https://www.cnblogs.com/pinard/p/6422831.html

为什么要用到反向传播

我们的目的是得到每一个神经元的w和b。这个参数的获取一般是通过梯度下降算法得到的。因此我们需要设置损失函数,使损失函数到达最小。这个过程就是反向传播算法。
求得损失函数最小那么就需要对一个经过前向传播得到的w,b进行在损失函数中的求导得到梯度,然后根据得到的梯度对w,b进行更新。

为什么进行的是反向传播而不是正向的

个人认为因为某层某个神经元是正向传播得到的,在对这一个神经元用损失函数求导时,发现某一部分可以简便的求出上一层的梯度表示,就这样反向传播。(个人感觉这个名字起的是因为它具有这样传播的特点)

算法流程

原文地址:https://www.cnblogs.com/code-fun/p/13970450.html