反向传播的直觉

回想一下,神经网络的代价函数是:

如果我们考虑简单的非多类分类(k=1)和无视正规化,则计算成本:

更正式地说,delta值实际上是成本函数的导数:

回想一下,我们的导数是与成本函数相切的直线的斜率,所以斜率越陡,我们就越不正确。让我们考虑下面的神经网络在看我们如何计算一些

原文地址:https://www.cnblogs.com/zhengzhe/p/7326044.html