13.MLP()的反向传播

1:MLP(Multi-Layer  Perceptron)反向传播

(1)多层感知机模型

 (2)反向传播的推到过程(主要使用链式法则):

 【注】

W的上标表示第几层(也即是第几层输出层)。W的第一下标表示输入层的第几号节点,下标表示加权求和层(输出层)的第几号节点。

(3)最终推导结果:

 

 (4)单层和多层感知机反向推导结论的对比:

 

 [注]反向传播的过程:

首先:通过计算输出层的ók,就可以计算出输出层权值的偏微分

第二步:通过第一步得到的结果就可以计算出倒数第二层的ój,就可以得到倒数第二层的权值的偏微分,如此循环就可以对第一层权值就行更新。(第0层为初始输入层)

原文地址:https://www.cnblogs.com/jiafeng1996/p/15063444.html