Chain rule
Multi-output Perceptron
Multi-Layer Perceptron
- 对于多隐藏层结构的神经网络可以把隐藏层的节点看成输出层的节点
- For an output layer node (kin{K})
[frac{partial{E}}{partial{W_{jk}}}=O_jdelta_k,\,delta_k=O_k(1-O_k)(O_k-t_k)
]
- For a hidden layer node (jin{J})
[frac{partial{E}}{partial{W_{ij}}}=O_idelta_j,\,delta_j=O_j(1-O_j)sum_{kin{K}}delta_kW_{jk}
]
- 其中(delta_k)可以看做是(O_j)的信息；(delta_j)可以看做是(O_i)的信息
- 并且下一层的隐藏层偏微分的更新都基于上一隐藏层的偏微分