神经网络反向传播公式推导

本文摘自Michael Nielsen的Neural Network and Deep Learning, chapter 1 & 2.

随机梯度下降

 

带权输入

 

反向传播的四个基本方程

BP1方程的证明:

 

BP2方程的证明:

BP2的证明有些绕,我们可以用更直观的方式来说明这个公式,假设第L-1层和第L层的都只有3个神经元:

反向传播算法:

原文地址:https://www.cnblogs.com/picassooo/p/12005112.html